Herramientas SEO

Generador de robots.txt

Crea un robots.txt válido sin tener que buscar la sintaxis: elige lo abierta que debe estar la web, añade las rutas que los rastreadores deben dejar en paz, indica tu sitemap y copia o descarga el resultado.

Publicar en Droply pone tu resultado en línea, en un enlace HTTPS, en segundos y sin paso de build. El archivo se publica a través de nuestro proceso de subida habitual y seguro; tus datos solo salen del navegador cuando decides publicar.

Qué controla robots.txt y qué no

Un archivo robots.txt les dice a los rastreadores que se portan bien qué rutas pueden descargar. Eso es todo. Es una petición que respetan los buscadores que importan y que ignora por completo cualquiera que no quiera respetarla, y el archivo es público: cualquiera puede leer el tuyo añadiendo /robots.txt a tu dominio. Poner en él un directorio secreto es una forma de publicar dónde está ese directorio.

La distinción que más confunde es la que hay entre rastrear e indexar. Disallow impide que un rastreador descargue una página; no impide que esa página aparezca en los resultados. Si otras webs enlazan a una URL bloqueada, un buscador puede mostrarla sin descripción, precisamente porque le dijeron que no mirara. Para que una página no salga en los resultados, deja que se rastree y sirve en ella una meta etiqueta o una cabecera robots con noindex. Si la bloqueas, te aseguras de que el buscador nunca vea esa instrucción.

Cómo se aplican de verdad las reglas

Un rastreador elige exactamente un grupo User-agent: el más específico que lo nombre, o el grupo * si ninguno lo hace. No los combina. Así que un grupo para un bot concreto sustituye por completo las reglas generales para ese bot, lo que significa que cualquier regla que todavía necesite hay que repetirla dentro de ese grupo. Es el error más común en un robots.txt escrito a mano.

Dentro de un grupo, las rutas se comparan por prefijo desde la raíz, * equivale a cualquier secuencia de caracteres y $ marca el final. Por eso Disallow: /admin bloquea /admin, /admin/ y también /administracion, que normalmente no es lo que se quería; Disallow: /admin/ es la forma segura. Un Disallow: vacío significa permitirlo todo, y Disallow: / significa bloquear la web entera, y solo los separa un carácter.

La línea del sitemap y dónde va el archivo

Una línea Sitemap: no depende de los grupos de user-agent y se aplica a todo el archivo, así que va al final. Su valor tiene que ser una URL absoluta completa, con protocolo y host, porque el rastreador que la encuentre puede no ser el mismo que descargó tu robots.txt. Es la forma más barata de que se descubra un sitemap sin enviarlo a ningún sitio.

El archivo solo funciona en la raíz de un host: https://example.com/robots.txt, nunca en una subcarpeta, y cada subdominio necesita el suyo. Tiene que servirse como texto plano. Pruébalo antes de fiarte de él, porque un archivo que lo bloquea todo por accidente es casi idéntico a uno que lo permite todo, y la diferencia se mide en semanas de tráfico perdido.

Cómo usarlo

  1. Elige lo abierta que está la web

    Parte de permitirlo todo, bloquearlo todo o permitir con excepciones, y las reglas básicas se escriben solas.

  2. Añade tus reglas

    Enumera las rutas que los rastreadores deben dejar en paz, añade un grupo para un bot concreto si lo necesitas e indica tu sitemap.

  3. Copia, descarga o publica

    Copia el archivo, descárgalo como robots.txt o publícalo en un enlace para ver exactamente lo que leerá un rastreador.

Preguntas frecuentes

¿El generador de robots.txt es gratis?
Sí, gratis y sin registro, y el archivo se genera en tu navegador, no en un servidor.
¿Dónde tiene que ir el archivo?
En la raíz del host, como /robots.txt. No funciona desde una subcarpeta, y cada subdominio necesita su propia copia.
¿Disallow oculta una página de los resultados de búsqueda?
No. Impide que un rastreador descargue la página, pero una URL bloqueada puede salir sin descripción si otras páginas enlazan a ella. Usa una meta etiqueta noindex en una página que sí se pueda rastrear.
¿Puedo bloquear un rastreador y dejar pasar al resto?
Sí, añadiendo un grupo que lo nombre. Recuerda que un rastreador solo obedece al grupo más específico que le corresponde, así que cualquier regla que todavía necesite hay que repetirla en ese grupo.
¿Necesito una línea Sitemap?
Es opcional y merece la pena añadirla. Tiene que ser una URL absoluta, y se aplica a todo el archivo, no a un solo grupo de user-agent.
¿Cómo pruebo el resultado?
Haz clic en Publicar para poner el archivo generado en un enlace HTTPS y ábrelo: verás exactamente los bytes que leería un rastreador antes de subirlo a tu propio alojamiento.