「サイバーブッダ」が威力を発揮し、AI巨頭の「無料ランチ」の時代は終わった

マスクとトランプ、このホワイトハウスの二人組の最近の「口撃合戦」は2.0時代に突入しました。この喜劇的な敵同士のように、海外の出版グループとAI巨頭との間にも愛憎劇があります。一方では大手出版者がAI企業と協力しようとしている一方で、他の出版者はAI巨頭を破産させるために死守することを誓っています。

データによれば、AI検索とChatGPTが登場して以来、世界のウェブサイトトラフィックは減少している。一方、AIの巨頭たちの「AIクローラー」はロボット排除標準を無視し、数万回のクローリングで全てのウェブサイトのデータを侵食し続けている。

この時、ついにあるインフラ会社が立ち上がり、コンテンツクリエイターの手を取り、「私たちはAI大手にノーと言える！」と言った。

Cloudflare、世界の約20％のネットトラフィックを支配するインターネットインフラの巨人は、ネットユーザーから「サイバー菩薩」と称賛されている企業で、2025年7月に実験的な製品と取引市場「Pay Per Crawl」を立ち上げました。AIクローラーに新しいルールを設けました。

許可を得るか、支払うか。

簡単に言うと、この機能の本質はウェブサイトのコンテンツクリエイターに「スイッチ」という選択肢を提供することです：AIクローラーの自由なアクセスを許可し、都度のクローリングに料金を課すか、直接アクセスをブロックすることができます。

クラウドフレアの創設者によれば、「コンテンツはAIエンジンを駆動する燃料であり、したがってコンテンツクリエイターが直接報酬を得ることが公平である。」

AI企業にとって、全網のコンテンツを引き続き取得してモデルを訓練するためには、以前のように「無料で大盛りを食べる」ことはできなくなります。しかし、明確な料金を支払うことで著作権の争いを回避できるという利点もあります。

Cloudflare の今回の「防虫」措置は、AI クローラーの無法な攻撃を緩和できるのでしょうか？ さらに重要なのは、この会社が独自の地位を活かして、新しい AI 時代のコンテンツ配信とマネタイズのモデルを確立できるのかということです。

01

AI巨頭の「無料ランチ」

過去数十年、多くのウェブページはデフォルトで公開「クローラブル」でした。GoogleやBingといった検索エンジンはウェブサイトにトラフィックをもたらし、トラフィックがあれば、ウェブサイトは広告やサブスクリプションの販売を通じて収益化します——これは検索時代の隠れた契約です。

AI時代において、従来の検索トラフィックが急減し、この計算はどんどん赤字になっていく。

AI企業は全ネットのコンテンツを訓練の燃料として利用していますが、ほとんどのクリエイターに対して報酬を支払うことはありません。ユーザーがAIチャットボットに直接質問すると、回答はしばしばまとめられたコンテンツから得られ、数十の青いリンクからではなく、ウェブサイトにさらなるトラフィックをもたらすことはありません。

Googleのような検索の巨人自身も変化しています。以前はウェブサイトのリンクリストを提供していましたが、現在は検索ページに「AIの概要」を導入しています。彼らの報告によると、75%の検索ユーザーはリンクをクリックせずに回答を得ています。

Cloudflare 2025年7月の最新データによると：Googleのクローラーは約6〜7回のクロールで1回のクリックをウェブサイトにもたらし、OpenAIは1500回で1回の遷移を得るのに対し、Anthropicの比率はさらに驚異的で、73300回で1回となっています。

各社のAIクローラーがウェブサイトにもたらすクリック率｜画像出典：Cloudflare

これは、従来の「コンテンツ対流量」モデルが機能しなくなったことを意味します。従来の検索エンジンと比較して、AI巨大企業は膨大なウェブサイトのコンテンツを消費していますが、「流入」を提供しません。この不均衡は、一部のコンテンツ制作者がますます生計を立てるのが難しくなっていることを示しています。

「OpenAIが登場したことで、ウェブサイトのトラフィック獲得の難易度はGoogleの時代よりも750倍高くなり、Anthropicが登場したことでその難易度はさらに3万倍に達しています。理由は簡単です：私たちはますますオリジナルコンテンツを消費するのではなく、それらの派生品を消費するようになっています。」CloudflareのCEOマシュー・プリンスはブログ記事で「これは公平な取引ではありません」と述べています。

AI企業がデータを収集することにも代償がある。ここ2年間、AIの巨人たちは「コンテンツを盗む」と非難され、大規模なモデルを訓練するために、世界中で著作権訴訟の波が引き起こされている。特にニューヨーク・タイムズなどのニュース機関とOpenAIとの訴訟が絶えない。

主要工場からのアクティブなAIクローラーボット|画像出典:Cloudflare

そのため、Cloudflareは「Pay Per Crawl」を導入し、「従量課金型クロール」の市場を構築しました。解決したいのはまさにこの問題です。

この会社は、AIクローラーに対して「許可、ブロック、または料金を請求する」をバックエンドで選択できる権限と支払いシステムを設計しました。AIクローラーがこのウェブサイトのコンテンツを取得したい場合、登録し、身分を確認し、訪問するたびに支払いを完了する必要があります。

もし順調にいけば、このモデルはネットコンテンツが「広告収益化」から「コンテンツライセンス収益化」へと移行し、新しい収入源を開拓できるようになります。大手メディアでもニッチな小さなブログでも、AI時代において交渉力を持ち、AIに使用されることで報酬を得ることができるのです。

その意義を強調するために、CloudflareのCEOは「Pay Per Crawl」が発表されたこの日を次のように呼びました：

「コンテンツの独立日」 。

02

AIの「通行料」はどうやって取るのですか？

もちろん、アイデアは素晴らしいですが、技術はどのように実現されるのでしょうか？

Cloudflareという会社は、CDN、DDoS防護、DNS、ゼロトラストセキュリティなどのサービスを提供することで成り立っています。世界300以上の都市にノードを展開し、約20％のWebトラフィックを担っており、仲介者としての役割を果たしています。

「Pay Per Crawl」は、グローバルCDNネットワークの中間層に構築されています：それは、アクセスリクエストがソースサイトに到達する前にAIクローラーを認識し処理することができます。サイトの管理者は、Cloudflareのバックエンドで3つのモードを設定できます：許可、課金、ブロック。

管理者はバックエンドで許可、料金設定、またはブロックを設定できます｜画像提供： Cloudflare

Cloudflare に新しく追加されたすべてのウェブサイトは、サイト管理者が明示的に許可しない限り、デフォルトで AI クローラーをブロックします。Cloudflare と提携している AI 企業のみが支払いメカニズムに参加でき、それ以外はブロックされます。

もしAIクローラーが有料URLにリクエストを送信し、まだ支払いをしていない場合、CloudflareはHTTP 402 Payment Requiredステータスコードを返します——これは過去にほとんど使用されていなかった、特に「ネット決済」のために予約されたステータスコードです。AIクローラーは、リクエストに支払い情報を含めて、設定された価格に同意することを示すことができ、価格が一致すれば200 OKを返し、自動的に決済が行われます。

Cloudflare自体はこの取引の「レジ」であり、請求書の集約と収益の分配を担当しています。

CloudflareがHTTP 402 Payment Requiredステータスコードを返す |

クローラーはリクエストに支払い情報を含めることができます｜画像出典： Cloudflare

HTTP 200 OK Response Acknowledgment Charge|画像出典:Cloudflare

さらに重要なのは、これは単純なUser-Agentの偽装で回避できるものではないということです。CloudflareはAI企業にキーを登録することを求めており、デジタル署名によって身元を保証しています。これは「模倣クローラー」がコンプライアントを装って支払いを回避するのを防ぐためでもあります。

過去、robots.txtはウェブサイトのルートディレクトリに置かれるプレーンテキストファイルで、検索エンジンのクローラーにどのページをクロールできるか、どのページをクロールできないかを伝えるためのものでしたが、それは単なるウェブサイトの「礼儀上の提案」であり、多くのAIクローラーはそれを無視します。Cloudflareのソリューションはこれを変え、既存のrobots.txtの「ソフト制約」を「ハードゲート」に変えました。

しかし、Cloudflareによると、現在のトップ10000のドメインのうち、約37%がrobots.txtファイルを持っているだけです。

AIクローラーのレベルを設定 | 画像出典:Cloudflare

Cloudflareのクローリング有料市場に参加するには、クローラーとクローリングされる側の両方がCloudflareアカウントを開設する必要があります。現在のところ、「Pay Per Crawl」はまだベータテスト段階にあり、BuzzFeedや「アトランティック」や「フォーチュン」などの一部の大手出版社のみが参加しています。Cloudflareは引き続き、意欲のあるコンテンツクリエイターとクローラーの公募を行っています。

「私たちは、ペイ・パー・ユースモデルが顕著な成長を迎えると予測しています。」Cloudflareの公式発表です。

現在はまだ初期段階にありますが、同社は将来について多くの構想を持っています。例えば、出版社や他の機関は異なるコンテンツタイプに対して異なる料金を請求したり、AIアプリケーションのユーザー数に基づいてダイナミックプライシングを行ったり、トレーニング、推論、検索など異なる分野に基づいてより細かな価格戦略を導入したりすることができます。

彼らはまた、従量課金のクローラーの真の潜在能力は、エージェントのインテリジェントエージェントの世界の中で明らかになるかもしれないと考えています。

「もしスマートエージェントのペイウォールが完全にプログラム的に機能できるとしたら、どんなことになるでしょうか？あなたの深い研究助手に最新の癌研究や法律のブリーフィングを整理してもらったり、最高のレストランを見つけてもらったりすることを想像してみてください。そして、このスマートエージェントに最も有用で関連性の高いコンテンツを取得するための予算を与えます。」

「HTTP 402 レスポンスコードを基盤とした最初のソリューションは、プログラムによってデジタルリソースへのアクセスを交渉できるスマートプロキシの未来を切り開く。」と Cloudflare は述べています。

03

インターネットの十字路

経済的な観点から見ると、これはAIと多くのコンテンツクリエイターによる「収益分配の再交渉」の始まりかもしれません。

現在、大手メディアだけがAI企業とライセンス契約を交渉できる（例えば、ニューヨークタイムズはOpenAIについて報じた後に和解に至った）が、大多数の中小サイト、フォーラム、さらには個人の著者は「静かに去られている」状況で、反抗する力も意識も持っていない。Cloudflareのプランは、実際にはこのような交渉力をより広い範囲のサイトに普及させることができる。

Cloudflareチームによると、彼らはニュース機関、出版社、大手ソーシャルメディアプラットフォームと数百回の対話を行い、彼らは「AIクローラーがそのコンテンツにアクセスできることを望んでいるが、報酬を得たい」と一致している。

支持者にとって、「ペイ・パー・クロール」モデルは理念的に非常に「公正」である：クリエイターは収入を得て、AI企業は法的リスクを回避し、長期的には産業全体がよりコンプライアンスのあるコンテンツライセンスへと進むことができる。

画像ソース:Cloudflare

もちろん、AI企業は必ずしも嬉しくはありません。インターネットデータがもはや無料ではなく、新しいコンテンツを取得するにはお金が必要です。これは、計算能力以外のコスト要素を意味します。

しかし一方で、これは過剰なスクレイピングを抑制するかもしれず、AIモデルの開発者がデータに対してより選択的になることを強いるかもしれません—たとえば、高価値のコンテンツをターゲットにして購入すること、つまりさまざまなウェブサイトのコンテンツを一斉にモデルに投入するのではなく。

マシュー・プリンスは「AIエンジンはスイスのチーズのようで、本当にこのチーズの穴を埋める新しいオリジナルコンテンツ、例えば今ネットの大部分を占める繰り返しの低価値コンテンツよりも価値がある」と述べた。

彼の見解では、トラフィックは常にコンテンツの価値を正確に測定することができない。「もし私たちが、コンテンツの評価とスコアリングを始められれば、流量がどれだけ生成されたかではなく、知識の促進度（AIエンジンの「スイスチーズ」の既存の穴をどれだけ埋めたかで測定する）に基づいて測定することができれば——私たちはAIエンジンがより早く進化する手助けをするだけでなく、高価値のコンテンツ制作の新しい黄金時代を促進する可能性もある。」

しかし、デジタル権利の擁護者は次のように提起するかもしれません：小規模なAIスタートアップチーム、研究者、オープンソースコミュニティは、そのようなデータコストを負担できるのでしょうか？学術研究や公益アーカイブなどの「良性クローラー」は、限られた低価値のデータソースにしかアクセスできず、身動きが取れなくなるのでしょうか？

広告収益が減少し、トラフィックコストが高騰する現実の中で、どれだけのウェブサイトがAIクローラーに無償で開放されることを望むでしょうか？これは「閉鎖化」の始まりになるのでしょうか、それともインターネットが自由と共有の精神を失うことになるのでしょうか？

全ネットが料金をデフォルトでブロックするなら、「大企業の独占」を無意に悪化させることになるのではないでしょうか？結局のところ、大企業の方が資金が豊富です。

「Pay Per Crawl」モードは、一方でAIがコンテンツを吸い取るだけで、その対価を返さない問題を解決しようと試みているが、他方では無意識のうちにAIの革新のハードルを高め、著作権保護と知識のオープン化という古い命題に戻る可能性もある。

もちろん、Cloudflareはウェブサイトにより多くの自主性を与えるだけです。ウェブサイトの所有者は、公益や非営利プロジェクトに対して無料での開放を選択することが完全にできます。権力は依然としてクリエイターの手の中にあります。いずれにせよ、彼らは「報酬」を得る価値があります。

CloudflareのCEOの言葉によれば、この変革の目標は「より良いインターネットを構築する」ことです。「私たちはまだすべての答えを知りませんが、いくつかのトップ経済学者やコンピュータ科学者と協力して答えを見つけようとしています。」

現在、他のCDNおよびセキュリティプロバイダー（例えば、Akamai、Fastly、Amazon CloudFront）は、同様の機能を発表していません。

AIクローラーロボットを門の外にブロックする｜画像提供：Cloudflare

CloudflareのPay Per Crawlは、CDN製品の新機能のように見えるかもしれませんが、ある意味では:

それはインターネットが分岐点に達する信号になる可能性があります。

検索時代において、コンテンツの価値はユーザーのアクセスを通じて広告収益に変わります。しかし、AI時代では、ユーザーはウェブサイトにアクセスすることすらなくなるかもしれません——すべての答えはチャットボットによって要約生成されます。AIの大規模モデルに無料でネットコンテンツを掘り起こさせ続けるべきか、それともデータ取得において「相互利益」の原則に戻り、クリエイターが正当な補償を得るべきか？補償はどれほどのものになるのでしょうか？

この初期の実験は、新しいAI時代のデータ経済形態の道筋を作るかもしれない。成功か失敗かにかかわらず、その立場は明確である。AIは創作者の忍耐を無限に消費することはできず、「オープン」という名の下で人の労働を無料の燃料に変えてはならない。

「ネットワークは変革を遂げており、そのビジネスモデルも変わるでしょう。この過程で、私たちは過去30年から良い点を学び、未来をより良くする機会があります。」

さて、物事が本当に良くなるのか、Cloudflare自身が認めているように：

「これは単なる始まりです。」