Kostenloser KI-Crawler-Zugriffscheck
Sehen Sie, welche KI-Assistenten Ihre Website hereinlässt, und erhalten Sie die robots.txt-Regeln für die gewünschte Richtlinie
Die robots.txt-Regeln für die gewünschte Richtlinie
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Meta-ExternalAgent Disallow: / User-agent: Amazonbot Allow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: /
Fügen Sie sie der robots.txt-Datei im Hauptverzeichnis Ihrer Website hinzu. Seriöse Crawler halten sich an diese Regeln; sie sind eine Bitte, kein Schloss.
Was dieser Check untersucht
+
KI-Assistenten lesen Websites mit eigenen Crawlern, und die robots.txt-Datei einer Website kann jeden einzelnen zulassen oder aussperren. Viele Websites sperren sie unwissentlich aus, durch die Voreinstellung eines Website-Baukastens oder ein Sicherheits-Plugin. Dieses Tool liest Ihre robots.txt und zeigt, wie es um jeden Crawler steht.
Trainings-Crawler und Antwort-Crawler sind verschieden
Manche Crawler sammeln Text, um Modelle zu trainieren. Andere rufen eine Seite in dem Moment ab, in dem jemand eine Frage stellt, und zitieren sie. Sie können die erste Art aussperren und trotzdem von Assistenten empfohlen werden; diese Richtlinie wählen viele Verlage.
Namentlich oder durch eine allgemeine Regel gesperrt
Ein Crawler kann durch eine eigens für ihn geschriebene Regel gesperrt sein oder von einer Regel für alle Crawler erfasst werden. Der Check sagt, was zutrifft, denn die Lösung ist jeweils eine andere.
Was als gesperrt gilt
Ein Crawler gilt als gesperrt, wenn ihm die gesamte Website untersagt ist. Regeln, die nur einen Bereich betreffen, etwa einen Login-Bereich, werden nicht gezählt.
Google-Extended ist nicht die Google Suche
Wer Google-Extended aussperrt, hält seine Seiten aus dem Training und den Antworten von Gemini heraus. Auf die Darstellung in den normalen Google-Ergebnissen hat das keinen Einfluss.
robots.txt ist eine Bitte
Seriöse Crawler halten sich daran. Einen Crawler, der die Regeln ignoriert, hält sie nicht auf; dafür braucht es eine Firewall.
Ist Aussperren verbreitet?
Ja. Unsere laufende Studie der beliebtesten Websites der Welt zählt, wie viele mindestens einen KI-Crawler aussperren; die aktuelle Zahl steht auf der Studienseite.
Die Liste umfasst die Crawler, die OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Amazon, Common Crawl und ByteDance veröffentlicht haben. Es kommen regelmäßig neue hinzu, und niemand außerhalb dieser Unternehmen kann garantieren, ob eine Website in KI-Antworten zitiert wird.
Weitere kostenlose Tools
Diese Seite in anderen Sprachen: English · Español · Português · Français