あなたのサイト、あなたのルール：新しいAIトラフィックオプション（2026-07-01）

Jin-Hee Lee, Bryan Becker — 読了: 10分

1年前、私たちは最初の「コンテンツ独立記念日」を宣言し、ウェブサイト所有者が自分のコンテンツの管理権を取り戻す手段を提供しました。過去30年間続いてきたクローラーとサイト所有者の暗黙の取引――「我々はあなたをクロールし、あなたは紹介（リファラ）を受け取る」――はもはや成立しませんでした。AIがあらゆるコンテンツを取り込み、何も返さない状況が現れ、サイト所有者にとって実存的脅威になっていました。そのため、私たちはワンクリックのBlock AI Botsオプションと、Pay-Per-Crawlマーケットプレイスを開始しました。

この1年で多くが変わりました。昨年7月、“AIボット”に関する会話は、対価なしでトレーニングに使われることをブロックすることに集中していました。要するにコンテンツがモデル学習に利用されてもサイト所有者に価値が戻らない、という不均衡です。しかし、より微妙な選択肢への欲求が生まれています。コンテンツ所有者はコンテンツを保護したいと考え続けるべきであり、オリジナルのコンテンツを作成・キュレート・共有する手間には対価が払われるべきです。

また、コンテンツを完全に閉鎖するのが万能解ではないこともわかっています。サイト所有者は「すべての自動化を常にブロックする」以外の選択肢を求めています。小規模サイトの場合、問題は誰かがあなたのコンテンツでモデルを訓練する可能性だけではありません――まず誰にも見つけられないことです。したがって、検索に出ることでAIにトレーニングされることを受け入するか、発見性を失うリスクを取るかのファウスト的な取引を迫られます。この不公平は、検索とトレーニングの両方に同じボットを使う既存の検索プロバイダに有利に働き、新規参入者に対して回避的な手法を取らせるインセンティブを生みます。

今、AIはあらゆるものになりうる

今日、AIはあらゆる場所に存在し得ます。Google検索は単にAIで並べるだけのものから、検索結果ページ上で直接質問に答えるフルな回答エンジンへと変わりました。これはGoogle固有の動きではなく、“検索”が向かっている方向です。今日「AI」と呼ぶかどうかの境界を議論したところで、明日には基準が変わるかもしれません。

したがって、ボットを主に「AIかどうか」で定義するのではなく、ボットやエージェントの振る舞いについてより深い問いを投げかける更新されたアプローチを採ります。例えば：

• 彼らは私のサイトで何をしているのか？
• 何を保存しているのか？
• どのように私のコンテンツを再共有するのか？

実務的な分類法（タクソノミー）

これらの問いに対処するには、より微妙で実務的な分類が必要です。つまり、顧客が気にするAIユースケースに合致するタクソノミーを用意します。AIのトレーニングだけに議論を限定せず、すべての顧客が管理できるように次の3つのAIユースケースに注目します。

• 検索（Search）: コンテンツを収集・インデックス化し、後でそのコンテンツに関する質問に答えられるようにする振る舞い。重要なのは、Searchは事前にサイトのデータベースを構築して後でクエリに応答するためのものであり、サイト所有者はリファラトラフィックや相応の対価を期待すべきであること。
• エージェント（Agent）: 通常リアルタイムで人の代わりに動作して、今すぐ何かを完了させる自動化。これにはチャットのフェッチボット（例: ChatGPT-User）やブラウザ駆動エージェント（例: Gemini や Claude が Chrome を操作するケース）が含まれる。重要なのは、ページを訪問してジョブを完了し、しばしば人間がその結果を待っている点。
• トレーニング（Training）: モデルを訓練またはファインチューニングするためにコンテンツを取得するクロール。重要なのは、あなたのデータがAIの基盤アーキテクチャに恒久的に取り込まれ、その能力向上に使われる点。

多くの一般的なクローラーは上記のいずれか、あるいは複数に該当します。私たちは上の3つ以外にも広告検証、フィード取得、エージェント的取引など多数の振る舞いを分類していますが、すべてのサイト所有者がこの3つのAI中心ユースケースを簡単に管理できることが重要だと考えています。

私たちは、ボット運営者がクローラーを機能ごとに分離することを推奨します。これによりサイト所有者にとって透明性が高まり、なぜ特定のクローラーが訪問しているか、どの程度のアクセスを与えるべきかを適切に判断できるようになります。もし企業がSearch用、Agent用、Training用を同一の自動化で兼ねているなら、3つの別個のクローラーに分けることを強く推奨します。

私たちは、ボットの目的を追跡するためのスケーラブルで現実を反映した分類システムを目指します。特に、複数の目的を持つボットは一つだけでなく全ての目的で追跡されるべきだと考えています。

AIトラフィックを管理するための新しいオプション

すべての Cloudflare ネットワーク上のウェブサイト所有者に対し、異なる種類のAIトラフィックを管理するためのより多くのオプションを提供します。これまでに発表した管理プリセットのBlock AI botsは、主にモデル学習のためにデータをクロールする単一目的のボットを含めていました。

しかし、すべてのAI利用が同じではないため、顧客が必要とする制御を持てるようにします。そこで、私たちはAIトラフィックを以下の3つの主要ユースケースに基づいて管理する機能を開始します：Search、Agent、Training。これらの新しいオプションにより、顧客はAIボットトラフィックの管理をより細かく調整できるようになり、Free ティアの顧客も含まれます。

（ここに既存設定および新オプションのスクリーンショットが表示されていたことを示すキャプションが元記事にあります。）

新しいデフォルト設定

2026年9月15日から、これら3つの分類それぞれに新しいデフォルトを適用します。Cloudflareに新たにオンボードする全ドメインについて、広告を表示するページではTrainingとAgentがデフォルトでブロックされ、Searchはデフォルトで許可されます。

広告は人間がそのページにたどり着いて見ることをサイト所有者が意図したシグナルであり、マネタイズの源です。したがって、これらのページでは人間の注目を最終目的と見なし、注目を阻害する可能性のあるボット（すなわちTrainingとAgent）を寄せ付けない扱いにします。一方で、Searchは訪問者をサイトに誘導する性質が最も強いため、ほとんどのサイト所有者の利益に沿うと考えられ、許可のままにします。

もう一つの変更点として、2026年9月15日以降は複数目的のクローラー（特にSearchとTrainingを兼ねるもの）は、その全ての振る舞いに従って許可/ブロックされます。多目的のクローラーは最も制限の厳しいルールが適用されるため、Trainingをブロックする設定を選択した顧客は、Googlebot、Applebot、BingBot 等のマルチパーパスなクローラーをブロックすることになります（これは新しいAIトラフィック管理オプションでも、従来のBlock AI botsサービスでも同様です）。

もちろん顧客の選択が最優先です。サイト所有者がこれらの新しいデフォルト構成を拒否したい場合は、9月15日までの任意の時点でセキュリティ設定からオプトアウトを行い、Trainingクローラーに対する変更を受けない旨を確定できます。私たちは9月15日に向けてデフォルトの変更を顧客に継続的に通知し、異なる設定を選択したい顧客に機会を提供します。

BotBase：Enterprise顧客向けの新しい可視化プレーン

さらに、Enterprise Bot Management の新機能として大きな可視化アップデートを公開します。Cloudflareの追跡対象ボットのディレクトリが成長するにつれ、これらのボットを意味のあるグルーピングで管理し、特定のボットに関する詳細を理解したいという要望も増えました。そこで登場するのが BotBase です。

BotBase は、Verified ボットやエージェントを含む既知のすべてのボットを追跡する新しいデータベースです。このデータベースは Cloudflare ダッシュボード上で、ボットディレクトリ全体の包括的で検索可能なビューを提供します。まずは可視化から着手し、今年後半には BotBase を既知の自動化コンテンツの直接的なコントロールセンターに拡張する予定です。

この新しいビューにより、Enterprise Bot Management の顧客は Verified ボット／エージェントの全カタログと、それらが更新されたタクソノミー上でどのように分類されているかを確認できます（ダッシュボード上で動的に表示するのは今回が初めてです）。特定のボットを精密にターゲティングしたい顧客は、そのボットからのすべてのトラフィックをフィルタしたり、セキュリティルールで使用するために検出IDをコピーしたりできます。これらはすべて、Bot Management 設定カードからアクセスできる専用ページで利用可能です。

BotBase を構築するにあたり、ボット間でスケーラブルかつ強力なインサイトを構築するために必要なすべての情報要素を考慮しました。その要素の一つが、更新されたタクソノミーの基盤となる「ボットがあなたのサイトで何をするか（振る舞い）」です。以下の分類は共有され、各ボットは一つ以上の振る舞いで分類されます。

ボット分類（主な振る舞いと用途）

• Search — サイトをスキャンして検索エンジンの結果に表示されるようにするクロール
• Agent — 人間の代理でページを訪問するユーザ指示型エージェント
• Training — モデルを訓練またはファインチューニングするためのクロール
• Transact — ユーザーの代わりにチェックアウトなどのアクションを実行
• Data Collection — 価格スクレイピング、競合情報収集、サードパーティ解析などを含む
• Security Testing — 脆弱性スキャンやペネトレーションテスト
• SEO — SEOクロール、サイト監査、アクセシビリティチェック
• Ads Verification — 広告配置の検証、広告不正検出
• Social / Link Preview — ソーシャルプラットフォームやメッセージングアプリ向けのリンクプレビュー
• Feed Fetching — RSSリーダー、ポッドキャスト集約、ニュースフィードボット等の取得
• Monitoring & Operations — 稼働監視、Webhook、ヘルスチェック等

（太字斜体行は、すべての顧客が設定可能な新しいオプションであることを示していました。元記事では表形式で提示されていました。）

クローラーは私のコンテンツをどう使うのか？

顧客から重要だと聞かれたもう一つの情報は、ボットの「コンテンツ利用（content use）」――クロール後に何を保持し、どのように再共有するかです。これに対処するため、Bot Management の顧客が「content use」に基づいて選択・ブロックできる機能を構築しています。この設定は最も制限的なものから最も寛容なものまで、以下の3段階に設定できます。

• immediate — インタラクトは許可するが、保存や再利用は行わない
• reference（デフォルト）— インデックス化、抜粋、リンクバックは許可する
• full — 要約および再現（複製）を許可する

これらの値はボット分類と組み合わせることで、例えば「Search、SEO、Ads Verification 用のボットはすべて許可するが、許可はすべて reference レベルまでに制限する」といった詳細なルールを表現できます。これによりサイト所有者は個々のボットごとのルールを管理するのではなく、意味のあるグルーピングで判断できます。

さらにこれを支援するために、本日より use という新しいシグナルをテストします。これは Content Signals を拡張し、あなたの robots.txt に記載されます。最初のバージョンの Content Signals の3つのフィールドに加え、4番目の任意フィールドとして同じ好みを表現します。

以下のような値をサポートします：

• use=immediate
• use=reference
• use=full

他の robots.txt の項目と同様に、content use の値はサイト所有者の「好み（preference）」を示すものであり、直接的にブロックを発行するものではありません。今回の拡張に対するサポートとして、すでに managed robots.txt を有効にしているすべての顧客――この設定は検索用クロールは許可するがトレーニング用クロールは許可しないという好みを robots.txt の先頭に付与するもの――には、追加で use=reference の好みが robots.txt に追記されます。

Cloudflare 管理下の元の Content Signals を含む robots.txt の例（インデントはコードブロック表現）：

User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /

Cloudflare 管理下に content-use シグナルが追加された例：

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

私たちはまた、コンテンツ利用の追跡も開始しています。

（注）BotBase や新しい AI トラフィック管理オプションは段階的に展開されます。詳細や Enterprise 向けの追加機能については Cloudflare ダッシュボードの Bot Management 設定をご確認ください。