概要

検索はウェブ上のほとんどの体験を動かしています。検索によって物事が達成され、制作者や販売者、そしてあなたがボックスに入力した質問への答えが見つかります。ほぼ30年間、その発見の旅はシンプルな取り決めの上に成り立っていました：検索エンジンにコンテンツをクロールさせれば、訪問者が送られてくる。訪問者は広告、サブスクリプション、あるいは単にオーディエンスそのもので収益化され、発見可能であることと報酬を得ることは同義でした。

しかし昨年の Content Independence Day に私たちは、AI時代におけるその取り決めを守るための線を引きました。とはいえ線を引くだけでは第一歩に過ぎません。以来、消費者の生活の中で AI 検索の普及は加速し、オンラインのトラフィックの50%以上が非人間である状況に達しています。脅威は、ブロックできる少数のトレーニング用クローラーではなく、AIによる回答を中心に再構築される「検索そのもの」になっています。

今日の回答エンジンはあなたのページを読み、要約をユーザーに渡すため、訪問（およびそれに依存していた収益）が不要になります。私たちはこれを現場で目の当たりにしており、独立した調査もそれを裏付けます：2025年の Pew Research Center の調査では、Google が AI 要約を表示する場合、従来の検索結果リンクがクリックされる割合はわずか8%（要約がない場合の約半分）で、要約内のリンクがクリックされる割合は1%に過ぎないことが示されました。

これにより顧客は板挟みになります：AIを拒否して見つかりにくくなるか、AIに対応してユーザーに大きな価値を提供するかわりに、ほとんど対価を得られないか。この状況を変えるため、私たちは顧客が自分のサイトに誰がアクセスできるか、何ができるかをよりよく制御するための新しいボットオプションを発表しました。しかし、ブロックは第一歩に過ぎませんでした："ノー"と言うことでコンテンツは保護できますが、それだけではコンテンツを支えるビジネスモデルを再構築できません。

そこで、検索を起点としてインターネットの新しい経済モデルを構築し始めます。

再構築すべき取り決め

透明性と制御が基盤であることは変わりませんが、それだけでは不十分です。2025年に私たちは責任あるAIボット原則を提示しました：ボットは自分が誰で何のためにあるかを明らかにし、サイト所有者の選択を尊重し、誠実に行動するべきだ、と。私たちのツールはボットをその基準に従わせます。

しかし、良いボット行動を強制しても、AI検索を利用する人々にとってより良い検索体験になるわけではなく、回答の元になった創作者に対して収益を戻すことにもなりません。ウェブが"ノー"と言うのを手助けする以上のことができます。ウェブが"イエス"と言うことを再構築する手伝いもできます。

そこで本日、守りから攻めへ転じ、古い取り決めの両側を再び結びつけ始める二つの取り組みを発表します：

Make AI search smarter（AI検索をより賢くする）：グローバルネットワーク上で私たちが観測する「新しさ」「高品質」「実際に変化したか」といったシグナルを使うことで、回答エンジンが最も関連性の高いコンテンツを優先表示し、不必要なクロールを減らせます。検索する人はより良い回答を得られ、ページが実際に変わったときだけ再クロールされれば AI 企業とサイト所有者の双方でコストが削減されます。
Pay creators for the value they provide（提供した価値に対して制作者に支払う）：あなたの作品が誰かの質問への回答に使われるとき、無償でスクレイプされるのではなく報酬を受けるべきです。何が利用されたか、ユーザーが何を尋ねているかを見られるべきです。これは実際の収入源であり、価値あるオリジナルコンテンツを作り続けるインセンティブになります。

「AI検索をより賢くする」研究プログラム

本日、私たちは AI 検索をより賢くし、顧客が何も新しいものを生まずにクロール費用を負担することを止めるための研究プログラムを開始します。

Cloudflare のネットワークの背後にはウェブの20%以上が存在し、これは私たちにユニークな視点を与えます。
実際にどのページが変化したか、どのページに人やエージェントが集まっているかを識別できます。
顧客が共有を選んだコンテンツの新鮮さに関するシグナルと、人間およびボットのトラフィックフローに関する私たち自身の洞察を組み合わせて検証します。

このプログラムは回答エンジンにとって高品質なコンテンツへの道筋を示し、顧客には自分のコンテンツが AI 結果にどのように表示され、実際にユーザーが何を尋ねているかを可視化します。目標は二点を測定することです：

これらのシグナルが回答エンジンにより新鮮で高品質なコンテンツを浮上させるのにどれだけ役立つか
不必要なクロールをどれだけ削減できるか

この第二の利点（不必要なクロールの削減）は見た目よりも大きな意味を持ちます。Cloudflare のデータは、優良なボットからのクロールトラフィックの50%以上が、変更されていないページの再取得に向かっていることを示唆しており、この割合はクロール量の増加に伴いさらに上昇する可能性があります。シグナルが「ここは何も変わっていない」と示すだけでクローラーは往復を省けます。

これにより回答エンジンのコンピュートが節約されます。
より重要なのは、サイト所有者が不必要なリクエストの応答に対してサーバー負担と費用を支払わずに済むことです。

このプログラムは中立性を意図して設計されています：私たちの目標は、公平に振る舞うすべての回答エンジンにとって機能するようにすることです。範囲は検索に限定され、いかなるコンテンツも共有せず、基盤モデル（foundation models）のトレーニングにも使用しません。得られた知見は公開する予定で、サイト所有者への利点（発見性の向上、サーバー負荷の低減など）を含めて共有します。

私たちは今年後半にこの機能を広く提供し、ネットワーク全体で不必要なクロールを減らすことを計画しています。

Pay Per Crawl から Pay Per Use へ

昨年、私たちは出版社が AI 企業に対してコンテンツのクロールを課金できるようにする Pay Per Crawl を立ち上げました。これは一歩前進でしたが、クロールは価値の粗い指標です。単一のページが一度だけクロールされ、その後何千もの回答で参照されることもあれば、何度もクロールされても一度も利用されないこともあります。制作者は提供した価値に応じて公平に支払われることを望んでいます。

そこで Pay Per Crawl を Pay Per Use に変えていきます。現在、Ceramic.ai や You.com のような主要な AI 企業と実験を行っています。仕組みは分かりやすく、組織は自分たちの支払いモデルを持ち込み、Cloudflare ネットワーク上のコンテンツ所有者に対してそれを簡単に拡張できます。

Ceramic は「pay-per-query」モデルを構築しており、オプトインした出版社は自分のコンテンツが Ceramic の検索結果に表示されるたびに支払われます。つまり、支払いはクロール回数ではなく、作品がもたらす価値に従って設計されています。

"To scale the future of AI search, we need a partner with massive reach and a shared commitment to transparency and fair compensation," と Ceramic.ai の創業者兼CEO、Anna Patterson は述べています。"Cloudflare allows us to easily and programmatically scale our operations. By bringing our pay-per-query model to their network, we ensure millions of content owners can seamlessly opt in to be compensated every single time their content appears in our search results."（原文）

Cloudflare と Ceramic のプログラムに参加するコンテンツ所有者は、AEO（Answer Engine Optimization）に役立つ新しいレポーティングも利用できます。顧客は、検索結果に自分のコンテンツが表示される原因となった上位クエリ、該当ページとスニペット、平均検索順位などを確認できるようになります。これは顧客の発見性支援のために今後提供する多くの製品の第一弾です。

もう一つのアプローチは You.com から来ています：エージェントは特定のプレミアムコンテンツが必要なときにオンデマンドで支払うことができ、事前のコミットメントは不要です。AI 提供者による新しい支払いモデル（例：Pay per Query、Pay per Result など）が試されており、私たちにはそれらすべてをサポートするインフラがあります。

正直に言えば、これは実験です。インターネット規模でどのように機能するかについて学ぶべきことは多く、パートナーや顧客と共に進めながら知見を共有していきます。しかし目標は明確です：AI検索企業はより新鮮で根拠のある回答を得て、回答を可能にした顧客は貢献したときに支払われる。

Cloudflare の役割は、この市場が繁栄するためのインフラ層を提供することです。私たちはこれが検索の経済学が向かう先により自然に合致すると考えています。

検索の単位が変わる

過去30年のウェブは人間のための検索を最適化して時間を節約してきました—抜粋、十個の青いリンク、そしてクリック。エージェント化されたインターネットは異なります：エージェントは高速に読み、継続的に検索します。検索は一つの質問に答えるためにエージェントが何十回も行う作業になり、目的地というよりもユーティリティに近づいています。その世界で重要なのはクロールでもクリックでもなく、アウトカム（成果）です。

成果に価格を付け、成果を可能にした人々に支払うことが、ウェブが繁栄し続ける方法です。

私たちが目指す見出し

1年前の Content Independence Day の見出しはデフォルトの『ノー』でした：AI は報酬なしでクロールできない。今年は、ユーザーに『イエス』と言わせ、より多くの利益をもたらすための製品とコントロールを提供することに焦点を当てています。本日の発表は始まりに過ぎません。

Cloudflare の研究プロジェクトは、私たちのシグナルがより少ないクロールでより良い結果を生むかを検証することを目的としています。
Pay Per Use は、コンテンツ制作者が自分の仕事に対して公正な報酬を受けるべきだと信じるパートナーとともに実験する有望な方向です。

過去30年のウェブも同様に構築されてきました：「モデルは壊れている」という声を「これが新しいモデルだ」に変えるパイロットを誰かが実行する、という一つ一つの実験を通じてです。私たちは顧客がこの新しいエージェント時代に見つけられることに価値があり、発見性を最大化するために自分のコンテンツを最適化すべきだと考えています。ただし、それは最も価値ある創作資産を無償で手放すことを意味してはなりません。

ウェブは変わりつつあり、それに伴って頼ってきたビジネスモデルも変わりつつあります。かつてのインターネットはオープンで中立的で、貢献する価値がありました。私たちはそれを維持し、将来それを支えるビジネスモデルを構築する稀有な機会を得ています。

人間とエージェントが質問するためのより賢い回答。
回答を価値あるものにしている技術、創造性、献身を持つ人々にとって公正な取引。

これが Cloudflare の使命の追求の仕方です：より良いインターネットを築く手助けをすること。

Happy Content Independence Day!

参加方法・お問い合わせ

Ceramic と You のプログラムに関心がある場合は、このフォームにご記入ください。
回答エンジンを構築していて、より賢くクロールしたい場合もぜひご連絡ください：[email protected]

タグ: Content Independence Day, Pay Per Crawl, AI, AI Search, AI Bots

Making AI search smarter

要約

Summary

Key Points

今後の予定