Unmasking the crawls with Attribution Business Insights

公開日: 2026-07-01
著者: Jin-Hee Lee, Oliver Payne
所要時間: 約6分

概要

オリジナルコンテンツは会話や好奇心の源です。もしそれが失われれば、既存の素材を繰り返すだけの世界になり、新しいアイデアや論争は衰退します。ウェブサイト運営者は、アイデアやニュース、興味深い情報のエコシステムを支えていますが、自分のコンテンツへのトラフィックを管理し、対価を得るという複雑な課題に直面しています。

一部のボットトラフィックは明らかに悪意がありますが、特定のAIクローラがビジネスにとって助けになるのか害になるのかは必ずしも明白ではありません。そこでサイト運営者は、価値を提供するトラフィックと、リソースを消耗しビジネスモデル（実際に人間がコンテンツを消費することによる収益基盤）を侵食するトラフィックを区別するための、粒度の高い信頼できるデータが必要です。

Cloudflareでは重要な信念を持っています：ウェブサイト運営者は自分のコンテンツへのアクセスを制御する権利を持つべきだ、ということです。運営者が高品質なコンテンツを守り、AIトラフィックを規制できるよう支援したいと考えます。そこから生まれたのが、ビジネス意思決定者や出版社を念頭に設計した新しいダッシュボード、Attribution Business Insightsです。

インターネットの新しい経済学

長年にわたり、インターネットのビジネスモデルは暗黙の合意に依存してきました：ウェブサイト運営者は検索エンジンにコンテンツをクロールさせ、その見返りに検索エンジンは読者を元のページに送り返す。従来の検索エンジンは“crawl-to-referral”の比率がバランスしており、それによって広告、アフィリエイト収入、サブスクリプションを支えるページビューが生まれていました（いわゆるSEOの時代）。

しかし現在、AIクローラやエージェントの急増によりその契約は崩れつつあり、デジタル出版業界は前例のない危機に直面しています。AIチャットボットがオリジナルコンテンツをスクレイプして瞬時の回答を生成し、元コンテンツを完全にバイパスする“ゼロクリック”エコシステムへの移行が進んでいます。SEOの世界からAEO（Answer Engine Optimization）へ、さらにGEO（Generative Engine Optimization）という議論が中心になりつつあります。

この新現実の不均衡は、今日インターネット上で見られるcrawl-to-referral比率によって明らかです。従来の検索エンジンはクロールと正当な紹介（referral）の比率が比較的バランスしていましたが、主要なAIクローラはまったく異なる抽出的なスケールで動作します。ある観察では、ボットのcrawl-to-referral比率が118:1から約50,000:1に達する例がありました（2025年のContent Independence Day付近の観測）。言い換えれば、あるAIクローラがあなたのプレミアムコンテンツを何万回もクロールして、1人の訪問者しか返さない可能性がある――これは根本的に不公平です。

出版社にとっては二重の打撃です。第一に、コンテンツ制作やジャーナリズムに資金を供給する重要な紹介トラフィック、広告インプレッション、直接のオーディエンス関係を失います。第二に、商業的価値を返さない自動化ボットにコンテンツ配信インフラのコストを負担させられます。発見されることを期待してすべてのクローラを受け入れる時代は終わりました。

Attribution Business Insightsの紹介

サイト運営者がどのボットがビジネスに役立ち、どのボットが害を与えているかを理解できるように、冷徹な数字を提供したいと考えました。そこで、ノイズを切り取り、顧客が最も重要だと伝えた詳細に焦点を当てる形で設計したのが、Attribution Business Insightsダッシュボードです。

今日、このAttribution Business Insightsダッシュボードはすべての Cloudflare Bot Management のお客様が利用できます。従来の分析ツールが大量の手動フィルタを必要とするのに対し、この新しいダッシュボードはウェブサイトに流入するボットトラフィックをターゲットに絞ったビューで提供し、重要なインサイトをすぐに提示します。

ダッシュボードはサイト運営者が今知りたい疑問に答えることを目的としています：

• ウェブサイト上のAIトラフィックをどう捉えるべきか？
• 人間、非AIボット、AIボットなど、異なるオーディエンスの価値は何か？
• そして最も重要な点として、あなたのデータはどのように使われているのか？

ダッシュボードが提供する主なインサイト

• Bot traffic to content pages: コンテンツページへのボット対人間のトラフィック全体と、コンテンツに実際にアクセスできたボットの量。
• Crawl-to-referral ratios: 24時間、7日間、30日スケールでのサイト全体のcrawl-to-referral比率。ボット事業者（1社または複数のボットを所有する企業）ごとの比率も確認可能。
• Top bots breakdown: トラフィック量順の主要ボット一覧。出身国、ウェブサイトで占める帯域幅、現在ブロックしているか許可しているかなどを表示。
• Updated classification based on crawler behavior: 単なる“AI Crawler”のラベルを超え、私たちの更新された分類法に基づいてクローラを分類します（Training（例：次期LLMチャットボットのトレーニング）, Search（例：Retrieval-Augmented Generation用データベースの更新）, Agent（例：エージェント的相互作用でエンドユーザーへ回答を返すために使用））。

データからビジネス戦略へ

サイト運営者がAIクローラの影響を理解するためにセキュリティの専門家である必要はありません。短時間でハイレベルなインサイトを取り込めば、コンテンツセキュリティポリシーの有効性を簡単に把握できます。

さらに深掘りして、AI企業がどのようにあなたのコンテンツを利用しているかを理解したり、AI企業との関係性をどのように構築するかの情報を収集したい場合は、ボット事業者ごとに整理されたより詳細なビューが利用できます。

• 事業者ごとのボット活動の内訳：各ボットについて、タイプ、crawl-to-referral比率、現在のアクション（許可・ブロック等）などの重要な詳細を示します。

複数企業が自社コンテンツへアクセスしようとしている様子を一元的に把握することで、クローラ活動のベースラインを確立できます。これにより事実に基づいたビジネス会話が可能になります。たとえば、「Company1のクローリング量はCompany4の20倍で、Company4は既にコンテンツに対して補償を行っている」と伝えたり、「Company2の最近の活動に基づきライセンス条件を見直す」といった交渉が行えます。

他のツールとの連携

この可視化レイヤーは既存の不正対策ツールとどのように結び付くのでしょうか？ Bot Managementの他の機能と同様に、実際の対処アクションは引き続きSecurity rulesで行います。Attribution Business Insightsはコントロールプレーンに別のアクションポイントを追加するのではなく、思慮深くフィルタされた分析のハブとして機能することを意図しています。まずはこのダッシュボードで調査を行い、その後、他の不正対策を支配する同じルールエンジンで対処を行ってください。

また、AIトラフィックに関する会話にはセキュリティ専門ユーザー以外の利害関係者も関与するべきであると明確に伝えたいと考えています。ビジネス意思決定者がこのダッシュボードに参加することを歓迎します。

今後の展開

Attribution Business Insightsは、進化するAIボットの脅威を管理し、インターネットの新しい力学を形成するために、ウェブサイト運営者に必要な透明性とコントロールを提供する次の重要な一歩です。

私たちは既に主要な出版社と緊密に協力し、ウェブサイト運営者の視点からセキュリティをカバーする可視性プレーンの次版を検討しています。そのプレビューでは、記事ごとのクローラ活動を分解して、AI企業が各記事やキャンペーンに示す関心度合いを明らかにする新しいビューが含まれます。

• 記事別の人気度内訳（トラフィック量順）: AIボットトラフィック、他のボットトラフィック、人間トラフィック（直接およびreferral経由）などの主要指標を表示。

可視性は第一歩に過ぎません。ウェブサイト運営者がこの新しい時代にコンテンツのコントロールを取り戻すための機能はさらに拡張していきます。

Cloudflare Bot Managementのすべてのお客様、特にビジネス会話を主導しているお客様には、本日よりこのダッシュボードを利用して新たな分析の視点を得ることを推奨します。