AI Crawler

AI crawler erfüllen im Wesentlichen zwei Aufgaben. Training-Crawler sammeln Inhalte, um künftige Modelle zu trainieren (zum Beispiel OpenAIs GPTBot, Google-Extended und CCBot von Common Crawl). Retrieval- und User-Agent-Crawler rufen Seiten zum Antwortzeitpunkt ab, um eine Live-Antwort zu untermauern (zum Beispiel OpenAIs OAI-SearchBot und ChatGPT-User, PerplexityBot von Perplexity und die Claude-Bots von Anthropic). Die Retrieval-Bots sind am direktesten damit verbunden, ob Sie in Antworten zitiert werden.

Der Zugriff wird größtenteils über robots.txt-Direktiven gesteuert, die auf den User-Agent des jeweiligen Bots abgestimmt sind, sowie über Server- und CDN-Regeln. Das Blockieren eines Training-Crawlers hält Ihre Inhalte aus künftigen Modellgewichten heraus, verhindert aber keine Zitierung in Echtzeit; das Blockieren eines Retrieval-Crawlers kann Sie aus den Live-Antworten der jeweiligen Engine entfernen. Das sind unterschiedliche Entscheidungen, und es lohnt sich, jede bewusst zu treffen.

Zwei Einschränkungen sind wichtig. Erstens ändern sich User-Agent-Tokens und Verhaltensweisen, wenn Anbieter Bots hinzufügen oder umbenennen, daher müssen Crawler-Richtlinien gelegentlich überprüft und nicht einmalig festgelegt werden. Zweitens rufen einige Engines über einen allgemeinen Suchindex ab (Bing versorgt Copilot und die ChatGPT-Suche mit Ergebnissen; Googlebot speist AI Overviews), sodass das Blockieren eines benannten KI-Bots Sie nicht immer von jeder KI-Oberfläche entfernt.

Für einen Shop ist die praktische Regel einfach: Wenn Sie von einer Antwortmaschine zitiert werden möchten, muss deren Retrieval-Crawler die Seiten erreichen dürfen, die Käuferfragen beantworten. Eine zu aggressive robots.txt oder eine bot-blockierende WAF-Regel kann Ihre KI-Sichtbarkeit unbemerkt auslöschen, während Ihr Google-Traffic gut aussieht.

Es gilt auch umgekehrt: Der Zugriff ist ein Hebel, den Sie kontrollieren. Zu prüfen, welche AI crawler Sie zulassen, und zu bestätigen, dass Ihre wichtigsten Produkt-, Kollektions- und Ratgeberseiten erreichbar sind, ist einer der schnellsten GEO-Erfolge mit geringstem Aufwand, die einem Händler zur Verfügung stehen.

Illustratives Szenario: Ein Shop fügt eine pauschale bot-blockierende Regel hinzu, um Scraper zu stoppen, und blockiert dabei versehentlich OAI-SearchBot und PerplexityBot. Wochen später bemerkt er, dass er aus den ChatGPT- und Perplexity-Antworten für seine Kategorie verschwunden ist, ein Sichtbarkeitsverlust, der sich direkt auf den Crawler-Zugriff und nicht auf die Inhalte zurückführen lässt.