AI Crawler

Les AI crawlers remplissent deux grandes fonctions. Les crawlers d'entraînement collectent du contenu pour entraîner les futurs modèles (par exemple GPTBot d'OpenAI, Google-Extended et CCBot de Common Crawl). Les crawlers de récupération et à user-agent récupèrent les pages au moment de la réponse pour étayer une réponse en direct (par exemple OAI-SearchBot et ChatGPT-User d'OpenAI, PerplexityBot de Perplexity et les bots Claude d'Anthropic). Les bots de récupération sont ceux qui sont le plus directement liés au fait que vous soyez cité dans les réponses.

L'accès est contrôlé en grande partie par des directives robots.txt associées au user-agent de chaque bot, ainsi que par des règles serveur et CDN. Bloquer un crawler d'entraînement empêche vos contenus d'entrer dans les poids des futurs modèles mais ne bloque pas la citation en temps réel; bloquer un crawler de récupération peut vous retirer des réponses en direct de ce moteur. Ce sont des décisions différentes, et il vaut la peine d'être délibéré pour chacune.

Deux réserves importent. D'abord, les identifiants de user-agent et les comportements évoluent à mesure que les fournisseurs ajoutent ou renomment des bots, si bien que les politiques de crawler doivent être révisées de temps à autre plutôt que définies une seule fois. Ensuite, certains moteurs récupèrent via un index de recherche général (Bing alimente Copilot et la récupération de la recherche ChatGPT; Googlebot alimente AI Overviews), de sorte que bloquer un bot IA nommé ne vous retire pas toujours de toutes les surfaces IA.

Pour une boutique, la règle pratique est simple: si vous voulez être cité par un moteur de réponse, son crawler de récupération doit pouvoir atteindre les pages qui répondent aux questions des acheteurs. Un robots.txt trop agressif ou une règle WAF de blocage des bots peut discrètement effacer votre visibilité IA alors que votre trafic Google semble normal.

Cela fonctionne aussi dans l'autre sens: l'accès est un levier que vous contrôlez. Vérifier quels AI crawlers vous autorisez, et confirmer que vos principales pages de produit, de collection et de guide sont accessibles, est l'un des gains GEO les plus rapides et les moins coûteux à la portée d'un marchand.

Scénario illustratif: une boutique ajoute une règle générale de blocage des bots pour arrêter les scrapers et bloque par inadvertance OAI-SearchBot et PerplexityBot. Des semaines plus tard, elle constate qu'elle a disparu des réponses de ChatGPT et de Perplexity pour sa catégorie, une perte de visibilité attribuable directement à l'accès des crawlers, et non au contenu.