Mobile-Menu
  DB Podcast

Chatbots Crawler und Copilot: Der Fehler liegt im Spamschutz

Ein Gastbeitrag von Alexander Leeb 6 min Lesedauer

Anbieter zum Thema

CADFEM Germany GmbH
Esker Software Entwicklungs-und Vertrieb
Yorizon GmbH & Co. KG

Ein zu strenger Spamschutz bei Webseiten sperrt oft auch Googlebot und KI-Crawler aus. Zwei einfache Überprüfungen zeigen, ob die eigene Website betroffen ist.

(Bild: © InfiniteFlow/stock.adobe.com)
(Bild: © InfiniteFlow/stock.adobe.com)

Executive Summary

Das Problem: Ein Spamschutz für die Website weist auch Such- und KI-Crawler ab.

Die Kosten: Google und KI-Assistenten zeigen alte Inhalte oder gar kein an.

Die Chance: Schutz nur am Formular hält Spam fern, ohne Crawler auszusperren.

Das Risiko: Geben Einkäufer ihre Recherche an Copilot ab, kann das Unternehmen in der Antwort fehlen.

Ein Kunde, Inhaber einer kleinen Coaching-Firma, bekam zu viele Spam-Anfragen. Also stellte er ein Plugin seiner Website auf „alle Bots blockieren“. Später fragte er mich, warum er nirgends vorkommt. Seine Seiten standen zwar noch im Google-Index, doch Änderungen kamen dort nicht mehr an. KI-Assistenten konnten die Website gar nicht lesen. Bots rufen Websites automatisch auf. Dazu gehören Spam-Programme ebenso wie Crawler, mit denen Suchmaschinen und KI-Anbieter Inhalte erfassen.

Dr. Joerg Storm hat in DIGITAL BUSINESS beschrieben, dass Microsoft mit Copilot die Ebene kontrollieren will, auf der entschieden wird, wer oder was eine Aufgabe ausführt. Gibt ein Einkäufer dort die Suche nach Anbietern ab, greift das System für Wissen aus dem Web auf die Bing-Suche zurück. Was der Bing-Crawler nicht lesen darf, kann in dieser Antwort fehlen. Andere Assistenten wie ChatGPT arbeiten mit eigenen Crawlern.

Bot-Schutz: Im Browser ist alles normal

Der Inhaber selbst bemerkte zunächst nichts. Im Browser lief seine Website wie immer, denn ein Bot-Schutz unterscheidet zwischen Menschen und Programmen. Abgewiesen werden nur die Programme, und dazu zählen auch die Crawler.

Oft sehe ich Sperren, die nur das Kontaktformular vor Spam schützen sollen und dann auch KI-Crawler und den Googlebot abweisen. Manche Plugins zum Bot-Schutz blockieren KI-Crawler sogar gleich nach dem Aktivieren, ohne dass jemand etwas einstellt. Ähnlich wirkt eine Ländersperre gegen Spam, denn der Googlebot crawlt nach Googles eigenen Angaben standardmäßig von Adressen in den USA.

Verbietet eine Sperre den Zugriff über die robots.txt, eine Textdatei mit Regeln für Crawler, kann eine Seite laut Google im Index bleiben, ihr Inhalt wird aber nicht mehr gelesen. Antwortet der Server mit einer Absage, dem Fehlercode 403, verschwinden bereits erfasste Seiten nach und nach aus der Suche. Beides fällt nicht sofort auf, denn eine Suche nach dem Firmennamen liefert weiter Treffer.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte