Was robots.txt steuert und was nicht
Eine robots.txt sagt gut erzogenen Crawlern, welche Pfade sie abrufen dürfen. Mehr nicht. Sie ist eine Bitte, die von den wichtigen Suchmaschinen befolgt und von allen, die sie nicht befolgen wollen, komplett ignoriert wird. Und die Datei selbst ist öffentlich: Jeder kann Ihre lesen, indem er /robots.txt an Ihre Domain anhängt. Wer ein geheimes Verzeichnis darin aufführt, veröffentlicht damit dessen Ort.
Der Unterschied, über den viele stolpern, ist der zwischen Crawlen und Indexieren. Disallow hindert einen Crawler daran, eine Seite abzurufen. Es verhindert nicht, dass die Seite in den Ergebnissen erscheint. Verlinken andere Websites auf eine gesperrte URL, kann eine Suchmaschine sie ohne Beschreibung listen, weil sie ja nicht hineinschauen durfte. Um eine Seite aus den Ergebnissen herauszuhalten, lassen Sie sie crawlen und liefern ein noindex als Robots-Meta-Tag oder Header aus. Sperren Sie sie stattdessen, sieht die Suchmaschine diese Anweisung garantiert nie.
Wie die Regeln tatsächlich abgeglichen werden
Ein Crawler wählt genau eine User-agent-Gruppe: die spezifischste, die ihn nennt, oder die Gruppe *, wenn keine ihn nennt. Er kombiniert sie nicht. Eine Gruppe für einen bestimmten Bot ersetzt also die allgemeinen Regeln für diesen Bot vollständig, und jede Regel, die er weiterhin braucht, muss darin wiederholt werden. Das ist der häufigste Fehler in einer von Hand geschriebenen robots.txt.
Innerhalb einer Gruppe werden Pfade als Präfix ab dem Stammverzeichnis abgeglichen, * steht für beliebig viele Zeichen und $ verankert das Ende. Disallow: /admin sperrt daher /admin, /admin/ und auch /administration, was meist nicht gemeint war. Disallow: /admin/ ist die sicherere Form. Ein leeres Disallow: bedeutet „alles erlaubt“, Disallow: / bedeutet „ganze Website gesperrt“, und dazwischen liegt ein einziges Zeichen.
Die Sitemap-Zeile und wohin die Datei gehört
Eine Sitemap:-Zeile ist unabhängig von den User-agent-Gruppen und gilt für die ganze Datei. Sie gehört deshalb ans Ende. Ihr Wert muss eine vollständige absolute URL mit Protokoll und Host sein, denn der Crawler, der sie findet, ist nicht unbedingt derjenige, der Ihre robots.txt abgerufen hat. Sie ist der einfachste Weg, eine Sitemap auffindbar zu machen, ohne sie irgendwo einzureichen.
Die Datei funktioniert nur im Stammverzeichnis eines Hosts: https://example.com/robots.txt, nie in einem Unterordner, und jede Subdomain braucht ihre eigene. Sie muss als reiner Text ausgeliefert werden. Testen Sie sie, bevor Sie sich auf sie verlassen: Eine Datei, die versehentlich alles sperrt, sieht fast genauso aus wie eine, die alles erlaubt, und der Unterschied bemisst sich in Wochen verlorenen Traffics.
Anleitung
-
Offenheit der Website wählen
Beginnen Sie mit „Alles erlauben“, „Alles sperren“ oder „Erlauben mit Ausnahmen“, und die Grundregeln werden für Sie geschrieben.
-
Regeln ergänzen
Listen Sie die Pfade auf, die Crawler auslassen sollen, fügen Sie bei Bedarf eine Gruppe für einen bestimmten Bot hinzu und nennen Sie Ihre Sitemap.
-
Kopieren, herunterladen oder veröffentlichen
Kopieren Sie die Datei, laden Sie sie als robots.txt herunter oder veröffentlichen Sie sie unter einem Link, um genau zu sehen, was ein Crawler lesen wird.
Häufige Fragen
Ist der robots.txt-Generator kostenlos?
Wohin gehört die Datei?
/robots.txt. Aus einem Unterordner heraus funktioniert sie nicht, und jede Subdomain braucht eine eigene Kopie.Blendet Disallow eine Seite aus den Suchergebnissen aus?
noindex-Meta-Tag auf einer Seite, die gecrawlt werden darf.