AI Crawler

Los AI crawlers cumplen dos funciones generales. Los crawlers de entrenamiento recopilan contenido para entrenar futuros modelos (por ejemplo, GPTBot de OpenAI, Google-Extended y CCBot de Common Crawl). Los crawlers de recuperación y de user-agent obtienen páginas en el momento de la respuesta para fundamentar una respuesta en vivo (por ejemplo, OAI-SearchBot y ChatGPT-User de OpenAI, PerplexityBot de Perplexity y los bots Claude de Anthropic). Los bots de recuperación son los que están más directamente relacionados con que a usted lo citen en las respuestas.

El acceso se controla en gran medida mediante directivas de robots.txt asociadas al user-agent de cada bot, además de reglas de servidor y de CDN. Bloquear un crawler de entrenamiento mantiene su contenido fuera de los pesos de los futuros modelos, pero no bloquea la citación en tiempo real; bloquear un crawler de recuperación puede eliminarlo de las respuestas en vivo de ese motor. Son decisiones distintas, y conviene ser deliberado con cada una.

Importan dos advertencias. Primero, los identificadores de user-agent y los comportamientos cambian a medida que los proveedores añaden o renombran bots, por lo que las políticas de crawler necesitan una revisión ocasional en lugar de definirse una sola vez. Segundo, algunos motores recuperan a través de un índice de búsqueda general (Bing impulsa Copilot y la recuperación de la búsqueda de ChatGPT; Googlebot alimenta AI Overviews), de modo que bloquear un bot de IA con nombre no siempre lo elimina de todas las superficies de IA.

Para una tienda, la regla práctica es sencilla: si quiere que un motor de respuestas lo cite, su crawler de recuperación debe poder llegar a las páginas que responden a las preguntas de los compradores. Un robots.txt demasiado agresivo o una regla de WAF que bloquea bots puede borrar en silencio su visibilidad en IA mientras su tráfico de Google parece normal.

También funciona a la inversa: el acceso es una palanca que usted controla. Auditar qué AI crawlers permite, y confirmar que sus principales páginas de producto, de colección y de guía sean accesibles, es una de las victorias de GEO más rápidas y de menor esfuerzo al alcance de un comerciante.

Escenario ilustrativo: una tienda añade una regla amplia de bloqueo de bots para detener a los scrapers y, sin querer, bloquea OAI-SearchBot y PerplexityBot. Semanas después nota que ha desaparecido de las respuestas de ChatGPT y Perplexity para su categoría, una pérdida de visibilidad que se rastrea directamente hasta el acceso de los crawlers, no hasta el contenido.