AI Crawler

AI crawler 大致有两类工作。训练爬虫收集内容以训练未来的模型(例如 OpenAI 的 GPTBot、Google-Extended 以及 Common Crawl 的 CCBot)。检索型和用户代理型爬虫在回答时抓取页面,为实时回答提供依据(例如 OpenAI 的 OAI-SearchBot 和 ChatGPT-User、Perplexity 的 PerplexityBot,以及 Anthropic 的 Claude 机器人)。检索型机器人与你是否会在答案中被引用最为直接相关。

访问权限主要通过针对每个机器人用户代理的 robots.txt 指令,以及服务器和 CDN 规则来控制。屏蔽训练爬虫会让你的内容不进入未来模型的权重,但不会阻止实时引用;屏蔽检索爬虫则可能让你从该引擎的实时答案中消失。这是两种不同的决策,值得对每一种都慎重对待。

有两点需要注意。第一,随着提供商添加或重命名机器人,用户代理标识和行为会发生变化,因此爬虫策略需要不时复查,而不是一次设定就完事。第二,有些引擎通过通用搜索索引进行检索(Bing 为 Copilot 和 ChatGPT 的搜索检索提供支持;Googlebot 为 AI Overviews 供给内容),因此屏蔽某个命名的 AI 机器人并不总能让你从所有 AI 界面中消失。

对一家商店来说,实用的规则很简单:如果你希望被答案引擎引用,就必须允许它的检索爬虫访问那些回答买家问题的页面。过于激进的 robots.txt 或屏蔽机器人的 WAF 规则,可能在你的 Google 流量看起来一切正常的同时,悄悄抹去你的 AI 可见度。

这也可以反过来利用:访问权限是你能掌控的杠杆。审查你允许哪些 AI crawler,并确认你的主要商品页、集合页和指南页可被访问,是商家能够实现的最快、最省力的 GEO 成果之一。

示例场景:一家商店为了阻止抓取程序而添加了一条宽泛的机器人屏蔽规则,却无意中屏蔽了 OAI-SearchBot 和 PerplexityBot。几周后,它发现自己在其品类相关的 ChatGPT 和 Perplexity 答案中消失了,这一可见度损失可直接追溯到爬虫访问权限,而非内容。