El archivo robots.txt es un archivo de texto ubicado en la raíz de un sitio web que te permite dar instrucciones a los robots de los motores de búsqueda que indican las páginas que pueden indexarse. También se usa con fines de SEO.
Para agregar un archivo robots.txt, vete a la columna izquierda del editor y haz clic en el ícono Configuración que se encuentra abajo.
A continuación, haz clic en Indexación en la barra de menú a la izquierda. Luego Robots.txt automático, el campo 'Sí' está marcado por defecto.
Nota:
Cambiar el contenido del archivo robots.txt puede dañar tu SEO. No modifiques el contenido de robots.txt a menos que seas un Webmaster experimentado.