O que o robots.txt controla, e o que não controla
Um arquivo robots.txt diz aos robôs bem-comportados quais caminhos eles podem acessar. É só isso. É um pedido, respeitado pelos buscadores que importam e ignorado por completo por quem não quer respeitar, e o arquivo é público: qualquer pessoa lê o seu acrescentando /robots.txt ao seu domínio. Listar nele um diretório secreto é um jeito de divulgar onde esse diretório está.
A distinção que pega muita gente é entre rastrear e indexar. Disallow impede o robô de acessar a página; não impede que ela apareça nos resultados. Se outros sites têm links para uma URL bloqueada, o buscador pode listá-la sem descrição, porque foi instruído a não olhar. Para tirar uma página dos resultados, deixe-a ser rastreada e sirva nela uma meta tag ou um cabeçalho robots com noindex. Bloquear com Disallow garante que o buscador nunca veja essa instrução.
Como as regras são aplicadas na prática
O robô escolhe exatamente um grupo User-agent: o mais específico que cita o nome dele, ou o grupo * se nenhum cita. Ele não combina os grupos. Então um grupo para um robô específico substitui por completo as regras gerais para ele, e toda regra de que ele ainda precisa tem de ser repetida ali dentro. Esse é o erro mais comum num robots.txt escrito à mão.
Dentro de um grupo, os caminhos são comparados pelo começo, a partir da raiz; * vale por qualquer sequência de caracteres e $ marca o fim. Por isso Disallow: /admin bloqueia /admin, /admin/ e também /administration, o que normalmente não era a intenção; Disallow: /admin/ é a forma mais segura. Um Disallow: vazio libera tudo, e Disallow: / bloqueia o site inteiro: um caractere de diferença.
A linha do sitemap, e onde o arquivo fica
A linha Sitemap: não depende dos grupos de user-agent e vale para o arquivo inteiro, então o lugar dela é no fim. O valor precisa ser uma URL absoluta completa, com protocolo e host, porque o robô que a encontra pode não ser o mesmo que buscou o seu robots.txt. É o jeito mais barato de tornar um sitemap fácil de achar sem enviá-lo a lugar nenhum.
O arquivo só funciona na raiz de um host: https://example.com/robots.txt, nunca numa subpasta, e cada subdomínio precisa do seu. Ele deve ser servido como texto puro. Teste antes de confiar nele, porque um arquivo que bloqueia tudo por engano é quase idêntico a um que libera tudo, e a diferença se mede em semanas de tráfego perdido.
Como usar
-
Escolha o quanto o site fica aberto
Comece liberando tudo, bloqueando tudo ou liberando com exceções, e as regras básicas já vêm escritas.
-
Adicione suas regras
Liste os caminhos que os robôs devem deixar de lado, crie um grupo para um robô específico se precisar e informe o seu sitemap.
-
Copie, baixe ou publique
Copie o arquivo, baixe como robots.txt ou publique em um link no ar para ver exatamente o que um robô vai ler.
Perguntas frequentes
O gerador de robots.txt é grátis?
Onde o arquivo precisa ficar?
/robots.txt. Ele não funciona dentro de uma subpasta, e cada subdomínio precisa da sua própria cópia.O Disallow esconde a página dos resultados de busca?
noindex numa página que pode ser rastreada.