Qué controla robots.txt y qué no
Un archivo robots.txt les dice a los rastreadores que se portan bien qué rutas pueden descargar. Eso es todo. Es una petición que respetan los buscadores que importan y que ignora por completo cualquiera que no quiera respetarla, y el archivo es público: cualquiera puede leer el tuyo añadiendo /robots.txt a tu dominio. Poner en él un directorio secreto es una forma de publicar dónde está ese directorio.
La distinción que más confunde es la que hay entre rastrear e indexar. Disallow impide que un rastreador descargue una página; no impide que esa página aparezca en los resultados. Si otras webs enlazan a una URL bloqueada, un buscador puede mostrarla sin descripción, precisamente porque le dijeron que no mirara. Para que una página no salga en los resultados, deja que se rastree y sirve en ella una meta etiqueta o una cabecera robots con noindex. Si la bloqueas, te aseguras de que el buscador nunca vea esa instrucción.
Cómo se aplican de verdad las reglas
Un rastreador elige exactamente un grupo User-agent: el más específico que lo nombre, o el grupo * si ninguno lo hace. No los combina. Así que un grupo para un bot concreto sustituye por completo las reglas generales para ese bot, lo que significa que cualquier regla que todavía necesite hay que repetirla dentro de ese grupo. Es el error más común en un robots.txt escrito a mano.
Dentro de un grupo, las rutas se comparan por prefijo desde la raíz, * equivale a cualquier secuencia de caracteres y $ marca el final. Por eso Disallow: /admin bloquea /admin, /admin/ y también /administracion, que normalmente no es lo que se quería; Disallow: /admin/ es la forma segura. Un Disallow: vacío significa permitirlo todo, y Disallow: / significa bloquear la web entera, y solo los separa un carácter.
La línea del sitemap y dónde va el archivo
Una línea Sitemap: no depende de los grupos de user-agent y se aplica a todo el archivo, así que va al final. Su valor tiene que ser una URL absoluta completa, con protocolo y host, porque el rastreador que la encuentre puede no ser el mismo que descargó tu robots.txt. Es la forma más barata de que se descubra un sitemap sin enviarlo a ningún sitio.
El archivo solo funciona en la raíz de un host: https://example.com/robots.txt, nunca en una subcarpeta, y cada subdominio necesita el suyo. Tiene que servirse como texto plano. Pruébalo antes de fiarte de él, porque un archivo que lo bloquea todo por accidente es casi idéntico a uno que lo permite todo, y la diferencia se mide en semanas de tráfico perdido.
Cómo usarlo
-
Elige lo abierta que está la web
Parte de permitirlo todo, bloquearlo todo o permitir con excepciones, y las reglas básicas se escriben solas.
-
Añade tus reglas
Enumera las rutas que los rastreadores deben dejar en paz, añade un grupo para un bot concreto si lo necesitas e indica tu sitemap.
-
Copia, descarga o publica
Copia el archivo, descárgalo como robots.txt o publícalo en un enlace para ver exactamente lo que leerá un rastreador.
Preguntas frecuentes
¿El generador de robots.txt es gratis?
¿Dónde tiene que ir el archivo?
/robots.txt. No funciona desde una subcarpeta, y cada subdominio necesita su propia copia.¿Disallow oculta una página de los resultados de búsqueda?
noindex en una página que sí se pueda rastrear.