Kostenloser robots.txt-Tester
Prüfen Sie, ob Suchmaschinen und KI-Crawler eine Seite lesen dürfen, und sehen Sie die Zeile, die das entscheidet
So liest der Tester eine robots.txt-Datei
+
Google hat seinen eigenen robots.txt-Tester 2023 eingestellt. Dieser hier folgt denselben veröffentlichten Regeln (dem robots.txt-Standard RFC 9309 und der Dokumentation von Google) und ergänzt die KI-Crawler, die es beim Bau des alten Tools noch nicht gab.
Ein Crawler folgt nur einer Gruppe
Enthält die Datei einen Abschnitt, der für einen Crawler namentlich geschrieben ist, folgt dieser Crawler ihm und ignoriert den allgemeinen Abschnitt. Ein häufiger Fehler: einen Abschnitt für Googlebot anlegen und vergessen, dass er die Regeln unter „User-agent: *“ dann nicht mehr erbt.
Die längste passende Regel gewinnt
Passen ein Allow und ein Disallow beide auf eine Adresse, entscheidet die längere, genauere Regel. Sind beide gleich lang, gewinnt Allow. Die Reihenfolge der Zeilen in der Datei spielt keine Rolle.
Platzhalter
Ein Stern steht für eine beliebige Zeichenfolge, und ein Dollarzeichen am Ende bedeutet „die Adresse endet hier“. „Disallow: /*.pdf$“ sperrt also Adressen, die auf .pdf enden, und sonst nichts.
Einen Entwurf testen, bevor Sie ihn veröffentlichen
Fügen Sie die Datei ein, die Sie hochladen wollen, und testen Sie echte Adressen dagegen. Eine falsche Zeile in der robots.txt kann eine ganze Website aus der Suche entfernen; die Minute lohnt sich.
Gesperrt ist nicht dasselbe wie verborgen
Die robots.txt hindert einen Crawler daran, eine Seite zu lesen. Sie entfernt die Seite nicht aus den Suchergebnissen, wenn andere Websites auf sie verlinken. Um eine Seite aus den Ergebnissen herauszuhalten, lassen Sie sie lesen und setzen Sie ein noindex-Tag.
Was der Tester nicht sagen kann
Ob ein Crawler die Datei befolgt. Seriöse tun es. Außerdem liest der Tester die Datei so, wie sie an uns ausgeliefert wird; einige wenige Websites liefern verschiedenen Besuchern verschiedene Dateien.
Der Tester prüft jeweils eine Adresse. Für eine Prüfung der gesamten Website, einschließlich versehentlich vor der Suche verborgener Seiten, starten Sie die vollständige Analyse.
Weitere kostenlose Tools
Diese Seite in anderen Sprachen: English · Español · Português · Français