Ferramentas de SEO

Gerador de robots.txt

Monte um robots.txt válido sem precisar consultar a sintaxe: escolha o quanto o site fica aberto, liste os caminhos que os robôs devem deixar de lado, informe o seu sitemap e copie ou baixe o resultado.

Publicar na Droply coloca o resultado no ar em um link HTTPS em segundos, sem build. O arquivo passa pelo mesmo processo de envio seguro de qualquer publicação; seus dados só saem do navegador quando você decide publicar.

O que o robots.txt controla, e o que não controla

Um arquivo robots.txt diz aos robôs bem-comportados quais caminhos eles podem acessar. É só isso. É um pedido, respeitado pelos buscadores que importam e ignorado por completo por quem não quer respeitar, e o arquivo é público: qualquer pessoa lê o seu acrescentando /robots.txt ao seu domínio. Listar nele um diretório secreto é um jeito de divulgar onde esse diretório está.

A distinção que pega muita gente é entre rastrear e indexar. Disallow impede o robô de acessar a página; não impede que ela apareça nos resultados. Se outros sites têm links para uma URL bloqueada, o buscador pode listá-la sem descrição, porque foi instruído a não olhar. Para tirar uma página dos resultados, deixe-a ser rastreada e sirva nela uma meta tag ou um cabeçalho robots com noindex. Bloquear com Disallow garante que o buscador nunca veja essa instrução.

Como as regras são aplicadas na prática

O robô escolhe exatamente um grupo User-agent: o mais específico que cita o nome dele, ou o grupo * se nenhum cita. Ele não combina os grupos. Então um grupo para um robô específico substitui por completo as regras gerais para ele, e toda regra de que ele ainda precisa tem de ser repetida ali dentro. Esse é o erro mais comum num robots.txt escrito à mão.

Dentro de um grupo, os caminhos são comparados pelo começo, a partir da raiz; * vale por qualquer sequência de caracteres e $ marca o fim. Por isso Disallow: /admin bloqueia /admin, /admin/ e também /administration, o que normalmente não era a intenção; Disallow: /admin/ é a forma mais segura. Um Disallow: vazio libera tudo, e Disallow: / bloqueia o site inteiro: um caractere de diferença.

A linha do sitemap, e onde o arquivo fica

A linha Sitemap: não depende dos grupos de user-agent e vale para o arquivo inteiro, então o lugar dela é no fim. O valor precisa ser uma URL absoluta completa, com protocolo e host, porque o robô que a encontra pode não ser o mesmo que buscou o seu robots.txt. É o jeito mais barato de tornar um sitemap fácil de achar sem enviá-lo a lugar nenhum.

O arquivo só funciona na raiz de um host: https://example.com/robots.txt, nunca numa subpasta, e cada subdomínio precisa do seu. Ele deve ser servido como texto puro. Teste antes de confiar nele, porque um arquivo que bloqueia tudo por engano é quase idêntico a um que libera tudo, e a diferença se mede em semanas de tráfego perdido.

Como usar

  1. Escolha o quanto o site fica aberto

    Comece liberando tudo, bloqueando tudo ou liberando com exceções, e as regras básicas já vêm escritas.

  2. Adicione suas regras

    Liste os caminhos que os robôs devem deixar de lado, crie um grupo para um robô específico se precisar e informe o seu sitemap.

  3. Copie, baixe ou publique

    Copie o arquivo, baixe como robots.txt ou publique em um link no ar para ver exatamente o que um robô vai ler.

Perguntas frequentes

O gerador de robots.txt é grátis?
Sim, grátis e sem cadastro, e o arquivo é gerado no seu navegador, não num servidor.
Onde o arquivo precisa ficar?
Na raiz do host, como /robots.txt. Ele não funciona dentro de uma subpasta, e cada subdomínio precisa da sua própria cópia.
O Disallow esconde a página dos resultados de busca?
Não. Ele impede o robô de acessar a página, mas uma URL bloqueada ainda pode aparecer sem descrição se outras páginas tiverem links para ela. Use uma meta tag noindex numa página que pode ser rastreada.
Posso bloquear um robô e liberar os outros?
Pode, criando um grupo com o nome dele. Lembre que o robô segue só o grupo mais específico que se aplica a ele, então toda regra de que ele ainda precisa tem de ser repetida nesse grupo.
Preciso da linha Sitemap?
É opcional, e vale a pena incluir. Ela precisa ser uma URL absoluta e vale para o arquivo inteiro, não para um grupo de user-agent.
Como eu testo o resultado?
Clique em Publicar para colocar o arquivo gerado em um link HTTPS no ar e abra o link: você vê exatamente os bytes que um robô leria antes de levar o arquivo para o seu próprio servidor.