Ce que robots.txt contrôle, et ce qu’il ne contrôle pas
Un fichier robots.txt indique aux robots respectueux les chemins qu’ils peuvent explorer. C’est tout. Il s’agit d’une demande, respectée par les moteurs de recherche qui comptent et totalement ignorée par ceux qui n’ont pas envie de la respecter, et le fichier lui-même est public : n’importe qui peut lire le vôtre en ajoutant /robots.txt à votre domaine. Y lister un dossier secret revient à publier l’emplacement de ce dossier.
La distinction qui piège le plus de monde est celle entre exploration et indexation. Disallow empêche un robot de récupérer une page ; il n’empêche pas cette page d’apparaître dans les résultats. Si d’autres sites pointent vers une URL bloquée, un moteur peut la lister sans description, justement parce qu’on lui a interdit de la lire. Pour exclure une page des résultats, laissez-la explorer et servez-lui une balise meta robots ou un en-tête noindex. La bloquer garantit au contraire que le moteur ne verra jamais la consigne.
Comment les règles s’appliquent vraiment
Un robot choisit un seul groupe User-agent : le plus précis qui le nomme, ou le groupe * si aucun ne le nomme. Il ne les combine pas. Un groupe consacré à un robot donné remplace donc entièrement les règles générales pour ce robot : chaque règle dont il a encore besoin doit y être répétée. C’est l’erreur la plus fréquente dans un robots.txt écrit à la main.
Dans un groupe, les chemins sont comparés comme des préfixes à partir de la racine, * remplace n’importe quelle suite de caractères et $ marque la fin. Disallow: /admin bloque donc /admin, /admin/ et aussi /administration, ce qui n’est en général pas l’intention ; Disallow: /admin/ est la forme la plus sûre. Un Disallow: vide signifie tout autoriser, et Disallow: / bloquer tout le site : un seul caractère d’écart.
La ligne Sitemap, et où placer le fichier
Une ligne Sitemap: ne dépend d’aucun groupe user-agent et s’applique à tout le fichier : sa place est donc à la fin. Sa valeur doit être une URL absolue complète, protocole et hôte compris, car le robot qui la trouve n’est pas forcément celui qui a récupéré votre robots.txt. C’est le moyen le plus simple de faire découvrir un sitemap sans le soumettre nulle part.
Le fichier ne fonctionne qu’à la racine d’un hôte : https://example.com/robots.txt, jamais dans un sous-dossier, et chaque sous-domaine a besoin du sien. Il doit être servi en texte brut. Testez-le avant de vous y fier : un fichier qui bloque tout par erreur ressemble presque trait pour trait à un fichier qui autorise tout, et la différence se compte en semaines de trafic perdu.
Mode d’emploi
-
Choisissez le degré d’ouverture
Partez de « tout autoriser », « tout bloquer » ou « autoriser avec exceptions », et les règles de base s’écrivent pour vous.
-
Ajoutez vos règles
Listez les chemins que les robots doivent éviter, ajoutez si besoin un groupe pour un robot précis et indiquez votre sitemap.
-
Copiez, téléchargez ou publiez
Copiez le fichier, téléchargez-le sous le nom robots.txt ou publiez-le sur un lien en ligne pour voir exactement ce qu’un robot lira.
Questions fréquentes
Le générateur de robots.txt est-il gratuit ?
Où le fichier doit-il être placé ?
/robots.txt. Il ne fonctionne pas depuis un sous-dossier, et chaque sous-domaine a besoin de sa propre copie.Disallow masque-t-il une page des résultats de recherche ?
noindex sur une page dont l’exploration est autorisée.