AI Crawler

Os AI crawlers cumprem duas funções gerais. Os crawlers de treinamento coletam conteúdo para treinar modelos futuros (por exemplo, o GPTBot da OpenAI, o Google-Extended e o CCBot da Common Crawl). Os crawlers de recuperação e de user-agent buscam páginas no momento da resposta para fundamentar uma resposta ao vivo (por exemplo, o OAI-SearchBot e o ChatGPT-User da OpenAI, o PerplexityBot da Perplexity e os bots Claude da Anthropic). Os bots de recuperação são os que estão mais diretamente ligados a você ser citado nas respostas.

O acesso é controlado em grande parte por diretivas de robots.txt associadas ao user-agent de cada bot, além de regras de servidor e de CDN. Bloquear um crawler de treinamento mantém seu conteúdo fora dos pesos dos modelos futuros, mas não bloqueia a citação em tempo real; bloquear um crawler de recuperação pode removê-lo das respostas ao vivo desse motor. São decisões diferentes, e vale a pena ser deliberado em cada uma.

Duas ressalvas importam. Primeiro, os identificadores de user-agent e os comportamentos mudam à medida que os provedores adicionam ou renomeiam bots, de modo que as políticas de crawler precisam de revisão ocasional em vez de serem definidas uma única vez. Segundo, alguns motores recuperam por meio de um índice de busca geral (o Bing alimenta o Copilot e a recuperação da busca do ChatGPT; o Googlebot alimenta o AI Overviews), portanto bloquear um bot de IA nomeado nem sempre o remove de todas as superfícies de IA.

Para uma loja, a regra prática é simples: se você quer ser citado por um motor de resposta, o crawler de recuperação dele precisa poder alcançar as páginas que respondem às perguntas dos compradores. Um robots.txt agressivo demais ou uma regra de WAF que bloqueia bots pode apagar silenciosamente sua visibilidade em IA enquanto seu tráfego do Google parece normal.

Isso também vale no sentido inverso: o acesso é uma alavanca que você controla. Auditar quais AI crawlers você permite e confirmar que suas principais páginas de produto, de coleção e de guia estão acessíveis é uma das vitórias de GEO mais rápidas e de menor esforço ao alcance de um lojista.

Cenário ilustrativo: uma loja adiciona uma regra ampla de bloqueio de bots para conter scrapers e, sem querer, bloqueia o OAI-SearchBot e o PerplexityBot. Semanas depois, percebe que desapareceu das respostas do ChatGPT e da Perplexity para sua categoria, uma perda de visibilidade que remonta diretamente ao acesso dos crawlers, e não ao conteúdo.