SEO-Tools

Robots.txt-Generator

Erstellen Sie eine gültige robots.txt, ohne die Syntax nachzuschlagen.

Mit Droply veröffentlichen: Ihr Ergebnis ist in Sekunden unter einem HTTPS-Link online, ganz ohne Build. Die Datei durchläuft unseren regulären, abgesicherten Upload-Prozess. Ihre Daten verlassen den Browser nur, wenn Sie sich fürs Veröffentlichen entscheiden.

Was robots.txt steuert und was nicht

Eine robots.txt sagt gut erzogenen Crawlern, welche Pfade sie abrufen dürfen. Mehr nicht. Sie ist eine Bitte, die von den wichtigen Suchmaschinen befolgt und von allen, die sie nicht befolgen wollen, komplett ignoriert wird. Und die Datei selbst ist öffentlich: Jeder kann Ihre lesen, indem er /robots.txt an Ihre Domain anhängt. Wer ein geheimes Verzeichnis darin aufführt, veröffentlicht damit dessen Ort.

Der Unterschied, über den viele stolpern, ist der zwischen Crawlen und Indexieren. Disallow hindert einen Crawler daran, eine Seite abzurufen. Es verhindert nicht, dass die Seite in den Ergebnissen erscheint. Verlinken andere Websites auf eine gesperrte URL, kann eine Suchmaschine sie ohne Beschreibung listen, weil sie ja nicht hineinschauen durfte. Um eine Seite aus den Ergebnissen herauszuhalten, lassen Sie sie crawlen und liefern ein noindex als Robots-Meta-Tag oder Header aus. Sperren Sie sie stattdessen, sieht die Suchmaschine diese Anweisung garantiert nie.

Wie die Regeln tatsächlich abgeglichen werden

Ein Crawler wählt genau eine User-agent-Gruppe: die spezifischste, die ihn nennt, oder die Gruppe *, wenn keine ihn nennt. Er kombiniert sie nicht. Eine Gruppe für einen bestimmten Bot ersetzt also die allgemeinen Regeln für diesen Bot vollständig, und jede Regel, die er weiterhin braucht, muss darin wiederholt werden. Das ist der häufigste Fehler in einer von Hand geschriebenen robots.txt.

Innerhalb einer Gruppe werden Pfade als Präfix ab dem Stammverzeichnis abgeglichen, * steht für beliebig viele Zeichen und $ verankert das Ende. Disallow: /admin sperrt daher /admin, /admin/ und auch /administration, was meist nicht gemeint war. Disallow: /admin/ ist die sicherere Form. Ein leeres Disallow: bedeutet „alles erlaubt“, Disallow: / bedeutet „ganze Website gesperrt“, und dazwischen liegt ein einziges Zeichen.

Die Sitemap-Zeile und wohin die Datei gehört

Eine Sitemap:-Zeile ist unabhängig von den User-agent-Gruppen und gilt für die ganze Datei. Sie gehört deshalb ans Ende. Ihr Wert muss eine vollständige absolute URL mit Protokoll und Host sein, denn der Crawler, der sie findet, ist nicht unbedingt derjenige, der Ihre robots.txt abgerufen hat. Sie ist der einfachste Weg, eine Sitemap auffindbar zu machen, ohne sie irgendwo einzureichen.

Die Datei funktioniert nur im Stammverzeichnis eines Hosts: https://example.com/robots.txt, nie in einem Unterordner, und jede Subdomain braucht ihre eigene. Sie muss als reiner Text ausgeliefert werden. Testen Sie sie, bevor Sie sich auf sie verlassen: Eine Datei, die versehentlich alles sperrt, sieht fast genauso aus wie eine, die alles erlaubt, und der Unterschied bemisst sich in Wochen verlorenen Traffics.

Anleitung

  1. Offenheit der Website wählen

    Beginnen Sie mit „Alles erlauben“, „Alles sperren“ oder „Erlauben mit Ausnahmen“, und die Grundregeln werden für Sie geschrieben.

  2. Regeln ergänzen

    Listen Sie die Pfade auf, die Crawler auslassen sollen, fügen Sie bei Bedarf eine Gruppe für einen bestimmten Bot hinzu und nennen Sie Ihre Sitemap.

  3. Kopieren, herunterladen oder veröffentlichen

    Kopieren Sie die Datei, laden Sie sie als robots.txt herunter oder veröffentlichen Sie sie unter einem Link, um genau zu sehen, was ein Crawler lesen wird.

Häufige Fragen

Ist der robots.txt-Generator kostenlos?
Ja, kostenlos und ohne Registrierung. Die Datei entsteht in Ihrem Browser, nicht auf einem Server.
Wohin gehört die Datei?
In das Stammverzeichnis des Hosts, als /robots.txt. Aus einem Unterordner heraus funktioniert sie nicht, und jede Subdomain braucht eine eigene Kopie.
Blendet Disallow eine Seite aus den Suchergebnissen aus?
Nein. Es hindert einen Crawler daran, die Seite abzurufen, aber eine gesperrte URL kann trotzdem ohne Beschreibung gelistet werden, wenn andere Seiten auf sie verlinken. Verwenden Sie ein noindex-Meta-Tag auf einer Seite, die gecrawlt werden darf.
Kann ich einen Crawler sperren und alle anderen zulassen?
Ja, mit einer Gruppe, die ihn namentlich nennt. Denken Sie daran, dass ein Crawler nur die spezifischste passende Gruppe befolgt: Jede Regel, die er weiterhin braucht, muss in dieser Gruppe wiederholt werden.
Brauche ich eine Sitemap-Zeile?
Sie ist optional, lohnt sich aber. Sie muss eine absolute URL enthalten und gilt für die ganze Datei, nicht für eine einzelne User-agent-Gruppe.
Wie teste ich das Ergebnis?
Klicken Sie auf Veröffentlichen, um die erzeugte Datei unter einem HTTPS-Link online zu stellen, und öffnen Sie sie. So sehen Sie genau die Bytes, die ein Crawler lesen würde, bevor Sie die Datei auf Ihrem eigenen Host einsetzen.