OpenAICloudflareJul 1, 2026, 1:00 PM

Content Independence Day, one year on: building the business model for the agentic Internet

A condensed section focused on the key takeaways first.

Original Post

Quick Digest

Summary

A condensed section focused on the key takeaways first.

openaienmodel: gpt-5-mini-2025-08-07

Content Independence Day, one year on: building the business model for the agentic Internet

Key Points

  • Agent traffic >50% of Internet
  • 52% of crawler requests are for AI training (June 2026)
  • Licensing market emerging but remains bespoke

Summary

A year after Cloudflare blocked AI training crawlers by default for new domains, the Internet has shifted from human-first discovery to an agentic economy. Key metrics show rapid AI adoption (2.5B users), agent traffic exceeding 50% of total traffic, and AI-training requests rising to 52% of crawler activity. A nascent licensing market has formed, but discovery-to-consumption dynamics—especially Google’s mixed-use crawler—create visibility and monetization challenges for publishers.

Key Points

  • Agentic shift: >50% of Internet traffic is non-human; AI adoption reached ~2.5 billion active users in ~3.5 years.
  • Crawler composition: AI-training crawls = 52% (June 2026); mixed-use crawlers = 36%; pure search crawling declining.
  • Referral collapse: for every hour spent searching, only ~15 minutes are spent on the open web; some sectors saw human traffic drop up to 40% in <1 year.
  • Market formation: 50+ publisher–AI licensing deals since 2023; collective licensing scaling but still bespoke and inefficient.
  • Google problem: Google’s mixed-use crawler conflates discovery and training, reducing publisher transparency and giving Google ~2x more accessible info vs. other AI providers.
  • Cloudflare visibility: their network observes ~20% of the web, 36% of top sites, and ~80% of leading AI companies—enabling operator-level attribution and enforcement.

Actionable guidance for engineers

  • Add network-level attribution and measurement (crawler identity, intent labeling, crawl-to-referral ratios) to telemetry.
  • Distinguish crawler purposes (discovery vs training vs mixed-use) and enforce policies at the edge (allow/block per purpose).
  • Instrument logs and BI to surface high-demand URLs and operator-level consumption signals to support licensing discussions.
  • Build or integrate rate-limiting and enforcement hooks tied to commercial controls (contracted access, token-based licensing, signed crawler identities).
  • Monitor referral vs crawl trends per content category and prioritize content valuation efforts where human traffic decline is highest.

Bottom line

The economics of the open web have changed: engineers must treat crawler visibility and intent as product and business signals, not just security events. Implementing attribution, intent-aware access controls, and telemetry that supports licensing workflows will be essential infrastructure for content owners and AI consumers alike.

Full Translation

Translations

A translation section that keeps the flow of the original article.

openaijamodel: gpt-5-mini-2025-08-07

コンテンツ独立記念日、1年後:エージェント化されたインターネットのビジネスモデル構築

2026-07-01 — Arielle Weiss、Zach Albertson、Emily Lanfear — 10分で読めます

コンテンツ独立記念日、1年後:エージェント化されたインターネットのビジネスモデル構築

1年前、私たちは「Content Independence Day」を宣言しました。当時、業界の多くが感じ始めていたことが見えていました:インターネットの基本的な経済性が変化しているということです。AIの採用は加速し、パブリッシャーはリファラルトラフィックの急激な減少を経験し、AI企業は前例のない規模でウェブをクロールしていました。多くの場合、意図を明確に示さず、ほとんど常に補償なしでデータを収集していました。

私たちはデフォルト設定を変更しました。Cloudflare上のすべての新規ドメインに対して、ドメイン所有者が選択しない限りAIトレーニング用クロールをデフォルトでブロックするようにしました。これはウェブを遮断するためではありません。より健全なエコシステムには透明性、コントロール、希少性、そして最終的には高品質なコンテンツが公正に評価され交換される市場が必要だと考えたからです。

あれから1年、その市場は出現しました。しかしインターネットの変容は私たちの予想よりさらに速く進みました。本報告では、インターネットのビジネスモデルがどれほど急速に変化したかを示す主要なデータポイントと、この新しいコンテンツ市場がパブリッシャーやサイト所有者にとって何を意味するかを共有します。

Part I: インターネットは変わった — 誰もが予想した以上の速さで

垂直に立ち上がる採用曲線

AIは単なる別の技術サイクルではありません。スマートフォンの普及よりも2倍以上の速度で進行しているプラットフォームの転換です。わずか3.5年で、人類の30%以上、25億人を超えるアクティブユーザーが生成AIを定常的に利用するようになりました。採用曲線は単に急峻なだけでなく、垂直に立ち上がっています。

オープンウェブの衰退

人々が情報に接し、仕事を行い、オンラインで時間を費やす方法がこれほど急速に変化したことはかつてありません。今日、情報検索に費やされる1時間あたり、オープンウェブで過ごされるのはわずか15分です。ユーザーはAI駆動の発見と消費へとシフトしており、従来の検索行動は崩壊しています。複数のサイトを訪れて情報を収集・比較する代わりに、ユーザーはプロンプトを入力するとほぼ瞬時に統合された回答を受け取ります。

エージェント化されたインターネットの到来

今年、エージェント(非人間)トラフィックは歴史的な閾値を越えました:インターネット上のトラフィックの50%超が非人間によるものになっています。このシフトはパブリッシャー、コンテンツ所有者、そしてオープンウェブの将来に対して驚くべき影響を及ぼします。

クロールの目的が変わった

Cloudflareが目的別に識別するクロールを見れば、その構成が物語っています:2026年6月時点でクロール要求の52%がAIトレーニングのためであり、2025年春の22%から急増しました。検索、エージェント利用、トレーニングを混在させる混合用途クロールは活動の36%以上を占めています。純粋な検索クロールは全体のごく一部かつ減少傾向にある一方、パブリッシャーの可視性には依然重要です。

AIトレーニングがクロール活動の主要な推進力になるにつれ、発見(discovery)とトレーニングを区別する能力はますます重要になります。混合用途クロールはその区別を曖昧にし、コンテンツ所有者を難しい立場に置きます:エージェント時代に可視性を維持するか、それとも最も価値のあるコンテンツを補償なしで提供し続けるかの選択を迫られます。

旧来のビジネスモデルは消えた

数十年にわたり、オープンウェブの経済モデルは明快でした。コンテンツ制作者は自らのコンテンツへのアクセスを検索エンジンでの可視性と交換し、その可視性がリファラルトラフィックを生み出しました。そのトラフィックがパブリッシャーやクリエイター、ビジネスが価値を生む主要なメカニズムでした。しかし今日、その交換は崩れつつあります。コンテンツは依然クロールされ、インデックス化され、利用されていますが、出所へのトラフィックが対応して戻されないケースが増えています。

AIシステムが質問に答え、製品を比較し、調査を行い、タスクを直接完了するにつれて、オープンウェブ上の情報はますますAIトレーニングおよび検索/取得システムの一部になっています。ここから生じる存在論的な問いは単純です:コンテンツが消費されてもオーディエンスが出所を訪れないなら、コンテンツ制作者はどのように維持していくのか?

業界を問わない影響

最初に影響を受けたのはニュース組織やメディア企業でした。今日では小売、ソフトウェア、IT、金融などのビジネスにも同様のダイナミクスが影響を与えています。最もクロールされるカテゴリのいくつかでは、ヒューマントラフィックが1年未満で最大40%減少したところもあります。多くのパブリッシャーは今や「Google Zero」と呼ばれる、検索リファラルからほとんどトラフィックが来ない世界に備えています。

この影響は事実上すべての業界に及びます。インターネット上で独自情報を公開する組織は、エージェント時代にどう運営するかを理解する必要があります。このダイナミックはコンテンツ所有者だけでなく、私たち全員にとって重要です。インターネットは世界経済の重要な一部であり、情報を見つけ出すための最も重要な公共資源の一つです。それが健全かつ持続可能であり続けることを確保することは不可欠です。

Part II: 市場が出現した

私たちが構築したもの

Content Independence Dayを開始したとき、私たちは3つを約束しました:

  • サイト所有者にとっての透明性とコントロール — コンテンツへのアクセスと収益化方法を定義できるようにすること。
  • 希少性を生み出すツール — コンテンツ所有者側に力のバランスを取り戻すこと。
  • コンテンツ制作者とあらゆる規模のAI企業がコンテンツを発見、ライセンスし、価値をより効率的に決定できるマーケットプレイス。

1年後、マネタイズされたコンテンツの市場はここにあり、ダイナミックな市場の条件が形成されつつあります。

透明性とコントロールが希少性を生んだ

従来、パブリッシャーはAI企業がどのように自分たちのコンテンツへアクセスし利用しているかについて限定的な可視性しか持っていませんでした。リファラルトラフィックが減少すると、その可視性の欠如は経済問題となり、パブリッシャーは価値を捕捉する新たな方法を模索しました。

Cloudflareのアトリビューション、ビジネスインテリジェンス、施行ツールは、ネットワークレベルでのAI消費の可視性をパブリッシャーに提供しました — robots.txtのような任意の基準よりもはるかに効果的な施行メカニズムです。初めて、パブリッシャーは自分たちのコンテンツがどのようにアクセスされ、収益化されているかを決定できるようになりました。そのコントロールが希少性を生み、供給と需要のコンテンツ経済を駆動しました。

希少性が交渉力を生んだ

アクセスに対するコントロールを行使したパブリッシャーは、希少性を作り出し、より良い条件につながる交渉力を手にしました。初めて、パブリッシャーはオペレーター・レベルのアトリビューションデータを得られるようになりました — LLMがどのくらいの頻度でコンテンツにアクセスしようとしたか、どの競合LLMがクロールしているか、最も需要の高いURLはどれか、クロール対リファラー比率はどうか、などです。これによりライセンス交渉における情報の非対称性が軽減され、パブリッシャーは知識に基づいて交渉できるようになりました。

力関係が変わりつつある

この交渉力は顧客を強化しました。AIシステムがどのようにコンテンツへアクセスし利用しているかの可視性を高めることで、彼らは自分たちのビジネスへの影響をよりよく理解し、構築した情報、ブランド、オーディエンスの価値をより自信を持って説明できるようになりました。

コンテンツ所有者とAI企業の力関係が変わり始めるにつれ、ライセンス経済が生まれています:

  • 2023年以降、50件以上のパブリッシャーとAI間の合意が締結されています。
  • 大手AI企業は差別化されたプレミアムコンテンツの価値をますます認識し、積極的にコンテンツをライセンスしています。
  • 集合的ライセンスモデルが引き続き出現・拡大しています。
  • 大手パブリッシャーは意義あるライセンス契約を確保しており、コンテンツがAIエコシステム内で実際の経済価値を持つことを示しています。

もはや議論の中心は「コンテンツに対して補償すべきか」ではありません。議論は「どのように」補償するかに移っています。

市場は成熟しつつあるが非効率は残る

初期のライセンス合意は需要が存在することを証明しましたが、今日のライセンスは大部分がオーダーメイドであり、失われたリファラル、広告、アフィリエイト収入を完全に補う可能性は低いです。そのため、パブリッシャーは従来のヒューマン向け発見と並行してAI消費の最適化を進め、新たな収益化経路を模索しています。供給と需要を効率的にマッチングするのは依然困難であり、すべてのコンテンツが同等の価値を持つわけではないという理解はあるものの、コンテンツ評価の解決はまだ途上です。

Googleの収束問題

この市場の議論でGoogleの独自の役割に触れないわけにはいきません。Googleは依然としてオンライン発見への支配的なゲートウェイであり、リファラルトラフィックのおよそ88%を占めています。しかしGoogleはユーザーにGoogle所有のAI体験内でコンテンツを直接消費させることが増えています。発見と消費は根本的に異なる目的を果たします。検索はユーザーをコンテンツへ導きますが、AI駆動の体験はユーザーがソースを訪れることなく要約し再利用する傾向があります。サイト所有者はこれらを異なる活動として見なします:一方はトラフィックを生み、もう一方はそれを代替するからです。

多くの主要AI企業は発見用クロールとトレーニング用クロールを分離しており、パブリッシャーがどちらか一方の目的でコンテンツアクセスを許可するのは比較的簡単です。Googleはそうではありません。今日、Googleは主要なAI企業より約2倍多くの情報にアクセスしています。なぜならGoogleは混合用途ボットを活用しており、顧客がGoogleの検索エコシステムに参加することが、同時にGoogleのAIエコシステムに参加することを意味しやすくしているからです。

他のAIプロバイダーとは異なり、Googleの混合用途クロールはサイト所有者に対する透明性も制限します。発見とAIアクセスが単一のクロールに結合されているため、パブリッシャーはGoogleがなぜ自分たちのコンテンツにアクセスしているのか、検索に使われているのかAI体験に使われているのかを区別できません。ネットワークレベルでそれらの活動を独立して許可またはブロックすることで得られる可視性や証拠も失われます。

このダイナミックは、より大きな透明性とコントロール、そしてコンテンツ所有者とあらゆる規模のAI企業双方により良く応える新たな収益化モデルへの需要を加速させました。

Part III: エコシステムに関するユニークな視点

Cloudflareは出現するエージェント経済の交差点に位置しています。ウェブの20%以上がCloudflareのネットワークの背後にあり、世界の最も訪問されるウェブサイトの36%が私たちのネットワークを利用し、Fortune 500の40%以上がCloudflareの顧客です。主要なAI企業のほぼ80%がCloudflareを利用しており、数千の開発者や新興AI企業も含まれます。

この独自の立ち位置は、市場の両側を可視化する能力を与えてくれます。コンテンツを作る側、消費するAI企業、そしてそれらをつなぐシグナルを私たちは見ることができます。この視点により、過去1年で市場がどのように進化したか、そして今市場に何が必要とされているかについて独自の洞察が得られました。

Part IV: 新興市場から得た教訓

パブリッシャーとAI企業が新しいエージェント経済に適応する中で、Cloudflareはエコシステムが今何を必要としているかについてより明確に理解するようになりました。

透明性は標準となるべき

コンテンツ所有者は誰が自分たちのコンテンツにアクセスしているか、どのように使用されているか、どの目的で使用されているかについての可視性とコントロールをますます必要としています。AI企業側も、透明性が信頼を構築し、パブリッシャーとの摩擦を減らすことを認識しつつあります。可視性と施行はもはや単なるセキュリティの問題ではなく、ライセンス交渉や商業的意思決定に直接影響するビジネス要件になっています。

Cloudflareは透明性を標準にするため、アトリビューション、測定、パブリッシャーコントロールの強化に引き続き投資しています。これによりコンテンツ所有者は自分たちのコンテンツがどのようにアクセス・利用されているかについてより大きな可視性とコントロールを得られます。

(原文はここで途切れています)

Content Independence Day, one year on: building the business model for the agentic Internet | Cloudflare | DocsDigest