AI Crawler

AI crawlerには大きく分けて2つの役割があります。学習用クローラーは将来のモデルを学習させるためにコンテンツを収集します(たとえばOpenAIのGPTBot、Google-Extended、Common CrawlのCCBotなど)。取得用およびユーザーエージェント型のクローラーは、ライブ回答の根拠とするために回答時にページを取得します(たとえばOpenAIのOAI-SearchBotとChatGPT-User、PerplexityのPerplexityBot、AnthropicのClaudeボットなど)。取得用ボットは、あなたが回答で引用されるかどうかに最も直接的に関わっています。

アクセスは主に、各ボットのユーザーエージェントに対応したrobots.txtのディレクティブに加えて、サーバーやCDNのルールによって制御されます。学習用クローラーをブロックすると、あなたのコンテンツは将来のモデルの重みには含まれなくなりますが、リアルタイムの引用はブロックされません。取得用クローラーをブロックすると、そのエンジンのライブ回答からあなたが除外される可能性があります。これらは別々の判断であり、それぞれについて慎重に検討する価値があります。

2つの注意点が重要です。第一に、プロバイダーがボットを追加したり名称を変更したりするにつれてユーザーエージェントのトークンや動作は変化するため、クローラーのポリシーは一度設定して終わりではなく、時折見直す必要があります。第二に、一部のエンジンは一般的な検索インデックスを介して取得します(BingはCopilotとChatGPTの検索取得を支えており、GooglebotはAI Overviewsに情報を供給します)。そのため、名前の付いたAIボットをブロックしても、必ずしもすべてのAI表示面から除外されるわけではありません。

ストアにとって実用的なルールはシンプルです。アンサーエンジンに引用されたいのであれば、その取得用クローラーが購入者の疑問に答えるページに到達できるようにしておく必要があります。過度に厳格なrobots.txtやボットをブロックするWAFルールは、Googleのトラフィックが正常に見えている間に、あなたのAIでの可視性を静かに消し去ってしまうことがあります。

これは逆方向にも作用します。アクセスはあなたが制御できるレバーです。どのAI crawlerを許可しているかを監査し、主要な商品ページ、コレクションページ、ガイドページに到達できることを確認することは、事業者が実行できる最も速く、最も労力の少ないGEOの成果の1つです。

具体的なシナリオ:あるストアがスクレイパーを止めるために広範なボットブロックのルールを追加し、意図せずOAI-SearchBotとPerplexityBotをブロックしてしまいます。数週間後、そのカテゴリーに関するChatGPTとPerplexityの回答から自社が消えていることに気づきます。この可視性の低下は、コンテンツではなくクローラーのアクセスに直接たどれるものでした。