Outils SEO

Générateur de robots.txt

Créez un robots.txt valide sans chercher la syntaxe : choisissez le degré d’ouverture du site, ajoutez les chemins que les robots doivent éviter, indiquez votre sitemap, puis copiez ou téléchargez le résultat.

Publier sur Droply transforme votre résultat en lien HTTPS en ligne en quelques secondes, sans build. Le fichier passe par notre circuit d’import habituel et sécurisé ; vos données ne quittent le navigateur que si vous choisissez de publier.

Ce que robots.txt contrôle, et ce qu’il ne contrôle pas

Un fichier robots.txt indique aux robots respectueux les chemins qu’ils peuvent explorer. C’est tout. Il s’agit d’une demande, respectée par les moteurs de recherche qui comptent et totalement ignorée par ceux qui n’ont pas envie de la respecter, et le fichier lui-même est public : n’importe qui peut lire le vôtre en ajoutant /robots.txt à votre domaine. Y lister un dossier secret revient à publier l’emplacement de ce dossier.

La distinction qui piège le plus de monde est celle entre exploration et indexation. Disallow empêche un robot de récupérer une page ; il n’empêche pas cette page d’apparaître dans les résultats. Si d’autres sites pointent vers une URL bloquée, un moteur peut la lister sans description, justement parce qu’on lui a interdit de la lire. Pour exclure une page des résultats, laissez-la explorer et servez-lui une balise meta robots ou un en-tête noindex. La bloquer garantit au contraire que le moteur ne verra jamais la consigne.

Comment les règles s’appliquent vraiment

Un robot choisit un seul groupe User-agent : le plus précis qui le nomme, ou le groupe * si aucun ne le nomme. Il ne les combine pas. Un groupe consacré à un robot donné remplace donc entièrement les règles générales pour ce robot : chaque règle dont il a encore besoin doit y être répétée. C’est l’erreur la plus fréquente dans un robots.txt écrit à la main.

Dans un groupe, les chemins sont comparés comme des préfixes à partir de la racine, * remplace n’importe quelle suite de caractères et $ marque la fin. Disallow: /admin bloque donc /admin, /admin/ et aussi /administration, ce qui n’est en général pas l’intention ; Disallow: /admin/ est la forme la plus sûre. Un Disallow: vide signifie tout autoriser, et Disallow: / bloquer tout le site : un seul caractère d’écart.

La ligne Sitemap, et où placer le fichier

Une ligne Sitemap: ne dépend d’aucun groupe user-agent et s’applique à tout le fichier : sa place est donc à la fin. Sa valeur doit être une URL absolue complète, protocole et hôte compris, car le robot qui la trouve n’est pas forcément celui qui a récupéré votre robots.txt. C’est le moyen le plus simple de faire découvrir un sitemap sans le soumettre nulle part.

Le fichier ne fonctionne qu’à la racine d’un hôte : https://example.com/robots.txt, jamais dans un sous-dossier, et chaque sous-domaine a besoin du sien. Il doit être servi en texte brut. Testez-le avant de vous y fier : un fichier qui bloque tout par erreur ressemble presque trait pour trait à un fichier qui autorise tout, et la différence se compte en semaines de trafic perdu.

Mode d’emploi

  1. Choisissez le degré d’ouverture

    Partez de « tout autoriser », « tout bloquer » ou « autoriser avec exceptions », et les règles de base s’écrivent pour vous.

  2. Ajoutez vos règles

    Listez les chemins que les robots doivent éviter, ajoutez si besoin un groupe pour un robot précis et indiquez votre sitemap.

  3. Copiez, téléchargez ou publiez

    Copiez le fichier, téléchargez-le sous le nom robots.txt ou publiez-le sur un lien en ligne pour voir exactement ce qu’un robot lira.

Questions fréquentes

Le générateur de robots.txt est-il gratuit ?
Oui, gratuit et sans inscription, et le fichier est généré dans votre navigateur plutôt que sur un serveur.
Où le fichier doit-il être placé ?
À la racine de l’hôte, sous le nom /robots.txt. Il ne fonctionne pas depuis un sous-dossier, et chaque sous-domaine a besoin de sa propre copie.
Disallow masque-t-il une page des résultats de recherche ?
Non. Il empêche un robot de récupérer la page, mais une URL bloquée peut quand même être listée sans description si d’autres pages pointent vers elle. Utilisez une balise meta noindex sur une page dont l’exploration est autorisée.
Puis-je bloquer un robot et autoriser les autres ?
Oui, en ajoutant un groupe qui le nomme. N’oubliez pas qu’un robot n’obéit qu’au groupe le plus précis qui le concerne : toute règle dont il a encore besoin doit être répétée dans ce groupe.
Ai-je besoin d’une ligne Sitemap ?
Elle est facultative, mais utile. Elle doit contenir une URL absolue et s’applique à tout le fichier, pas à un seul groupe user-agent.
Comment tester le résultat ?
Cliquez sur Publier pour mettre le fichier généré en ligne sur un lien HTTPS et l’ouvrir : vous voyez exactement les octets qu’un robot lirait, avant de le déployer sur votre propre hébergement.