KI-Crawler-Checker

KI-Assistenten können nur empfehlen, was ihre Crawler lesen dürfen. Geben Sie Ihre Domain ein und sehen Sie für jeden KI-Crawler, ob Ihre robots.txt ihn hereinlässt und welche Zeile genau das entscheidet.

Was prüft der Checker?

Er ruft Ihre robots.txt einmal ab und wendet die Standardregeln auf zehn KI-Crawler an, gruppiert nach Zweck:

KI-Suchcrawler (OAI-SearchBot, PerplexityBot, Claude-SearchBot) entscheiden, ob Assistenten Ihre Seiten in ihren Antworten zitieren können.
Nutzerausgelöste Abrufer (ChatGPT-User) rufen eine Seite auf, wenn eine Person danach fragt.
Trainingscrawler (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider) entscheiden, ob Ihre Inhalte zum Training von Modellen verwendet werden dürfen. Sie zu blockieren ist eine legitime Entscheidung.

Wie lesen Sie das Ergebnis?

Jede Zeile zeigt „zugelassen“ oder „blockiert“, welche Regelgruppe galt (die des Crawlers selbst oder die allgemeine *-Gruppe) und die genaue Zeile, die entschieden hat. Ist ein Suchcrawler blockiert, kopieren Sie die korrigierte robots.txt unter der Tabelle: Sie lässt die gewählten Crawler herein und hält Ihre eigenen privaten Pfade gesperrt.

Was kann der Checker nicht sagen?

Die robots.txt legt Ihre Richtlinie fest, ist aber kein Schloss. Eine Firewall oder ein Bot-Schutz kann einen Crawler auch dann blockieren, wenn die robots.txt ihn zulässt, und manche nutzerausgelösten Abrufer befolgen die robots.txt womöglich gar nicht. Zeigt der Checker „zugelassen“ und Assistenten können Ihre Website trotzdem nicht lesen, prüfen Sie diese Einstellungen. Der Leitfaden zu KI-Crawlern führt auf, was jeder Anbieter dokumentiert.

Prüfen Sie, ob ChatGPT Sie wirklich empfiehlt

Diese Tools prüfen, ob KI Ihre Website lesen kann. Der Kostenlose KI-Sichtbarkeits-Check stellt ChatGPT und Perplexity die Fragen Ihrer Kunden und zeigt, wen sie empfehlen.

Kostenlosen Check starten →

So funktioniert es

Geben Sie die Domain Ihrer Website ein.
Lesen Sie das Ergebnis für jeden KI-Crawler und die robots.txt-Zeile, die es entscheidet.
Sind Such-Crawler blockiert, kopieren Sie die korrigierte robots.txt und laden Sie sie ins Stammverzeichnis Ihrer Website hoch.

Häufig gestellte Fragen

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

OAI-SearchBot ruft Seiten für die Suchantworten von ChatGPT ab; wer ihn blockiert, taucht in diesen Antworten nicht auf. GPTBot sammelt Daten zum Training der Modelle von OpenAI; ihn zu blockieren entfernt Sie nicht aus der ChatGPT-Suche.

Sollte ich KI-Trainings-Crawler blockieren?

Das entscheiden Sie. Wer Trainings-Crawler blockiert (GPTBot, ClaudeBot, Google-Extended, CCBot), hält seine Inhalte aus dem Training künftiger Modelle heraus. Blockieren Sie aber nicht die Such-Crawler, wenn KI-Assistenten Sie empfehlen sollen.

Meine robots.txt erlaubt alles. Warum erwähnt mich ChatGPT nicht?

Zugriff ist nur der erste Schritt. KI-Assistenten empfehlen Unternehmen, die klar beschrieben sind und von anderen Websites zitiert werden. Starten Sie den Kostenlosen KI-Sichtbarkeits-Check, um zu sehen, wen sie stattdessen empfehlen.