Anbieter zum Thema

CADFEM Germany GmbH

Esker Software Entwicklungs-und Vertrieb

Yorizon GmbH & Co. KG

Crawler: Zuerst gesperrte Plugins finden

Am schnellsten geht ein Blick in die Plugins der Website, vor allem in die für Sicherheit und Spam. Eine pauschale Sperre ist dort schnell gesetzt und genauso schnell zurückgenommen. Findet sich nichts, lohnt das Kundenmenü des Hosters, in dem es je nach Anbieter eigene Schalter für Bot-Schutz oder Ländersperren gibt. Im Zweifel weiß der Support des Hosters, ob für die Website eine solche Sperre aktiv ist.

Läuft die Website über ein CDN, also einen Dienst, der Websites über verteilte Server ausliefert, kann schon eine Einstellung gegen KI-Training die Suche treffen. Bei Cloudflare hält die Option „Block“ für das KI-Training seit dem 15. September 2026 auch Googlebot, Bingbot und Applebot fern. Diese KI-Crawler arbeiten nach Angaben des Anbieters für Suche und Training zugleich, über Bing trifft die Sperre also auch Copilot. Wer nur das Training ausschließen will, wählt dort „Disallow AI Training“.

Wer die Website von einem Dienstleister betreuen lässt, kann ihn direkt fragen, ob Googlebot, Bingbot und OAI-SearchBot, der Such-Crawler von ChatGPT, eine normale Antwort bekommen. Das steht im Zugriffsprotokoll des Servers. Genauso wichtig ist, ob irgendwo eine Einstellung alle Bots oder ganze Länder sperrt und ob der Spamschutz wirklich nur am Formular wirkt.

Prüfung: Was Crawler wirklich sehen

Ob KI-Assistenten eine Website lesen können, kann jeder in wenigen Minuten selbst eingrenzen. Am einfachsten fragt man Copilot und ChatGPT nach einer Unterseite, die gerade geändert wurde, und gibt dazu ihre vollständige Adresse an. Kommt nur der alte Stand zurück oder lässt sich die Seite gar nicht öffnen, spricht das für eine Sperre. Ein Beweis ist das nicht, weil Crawler Änderungen ohnehin erst nach einer Weile abholen. Abrufe, die ein Nutzer im Chat auslöst, beachten die Regeln für Crawler laut OpenAI und Perplexity außerdem womöglich nicht. Kann ChatGPT die Seite im Gespräch öffnen, heißt das also noch nicht, dass sein Such-Crawler durchkommt.

Danach ruft man im Browser die eigene Adresse mit dem Zusatz /robots.txt auf und sieht dieselbe Fassung wie die Suchmaschinen. Eine Zeile „Disallow: /“ bei einem Such-Crawler wie Googlebot oder Bingbot sperrt ihn aus, unter „User-agent: *“ gilt sie für jeden ohne eigene Regel. Bei GPTBot oder ClaudeBot betrifft die Sperre dagegen nur das Training und kann gewollt sein. Taucht eine solche Zeile auf, ist das ein Fall für den Dienstleister.

Für Google sehe ich immer in der Search Console nach, wo eine Sperre im Bericht zur Seitenindexierung als „Wegen Zugriffsverbot (403) blockiert“ erscheint. Seit Ende August 2026 zeigt sie außerdem, wie oft Links zur Website in Googles KI-Antworten auftauchen. Das Gegenstück für Copilot sind die kostenlosen Bing Webmaster Tools. Dort sieht man, ob der Crawler von Microsoft durchkommt, und seit Februar 2026 auch, wie oft die Website als Quelle genannt wird. Über ChatGPT oder Perplexity verraten beide nichts.

Spamschutz gezielt einstellen

Der Spamschutz gehört dorthin, wo der Spam entsteht, also ans Formular. Eine Prüfaufgabe oder ein unsichtbares Zusatzfeld, das nur Programme ausfüllen, hält einfache Spam-Bots ab, ohne den Rest der Website zu berühren. Ist eine Sperre für alle Seiten trotzdem nötig, sollte sie echte Crawler an ihrer Herkunft erkennen und nicht an einem Namen, den sich jeder geben kann. OpenAI und Perplexity veröffentlichen dafür ihre IP-Adressen, das Einrichten ist Sache des Dienstleisters.

Ich lasse auf meiner eigenen Website auch die Trainings-Crawler zu. Was in den Trainingsdaten steckt, kann ein Modell wiedergeben, ohne im Web zu suchen. Ob es das später wirklich tut, lässt sich nicht garantieren, und sein Wissen bleibt auf dem Stand des Trainings. Ausschließen kann man das Training getrennt von der Suche, bei OpenAI über GPTBot und bei Google über das Kürzel Google-Extended, das nichts an der Google-Suche ändert.

Wer den Spamschutz wegen zu vieler Spam-Anfragen verschärft hat, sollte die Website einmal so prüfen, wie ein Crawler sie sieht. Für den ersten Test reichen eine geänderte Unterseite und die robots.txt. Ob tatsächlich eine Sperre greift, klärt danach das Zugriffsprotokoll des Servers.