「賽博菩薩」發威，AI 巨頭的「免費午餐」時代終結了

馬斯克和特朗普，這對白宮二人轉最近「嘴炮大戰」進入到 2.0 時期。和這對歡喜冤家類似的，是國外出版商集團和 AI 巨頭之間的相愛相殺——一方面有大出版商要和 AI 公司合作，另一方面也有出版商誓死要把 AI 巨頭告破產。

根據數據，AI 搜索和 ChatGPT 出現後，全球網站流量都在下降；另一方面，AI 巨頭的「AI 爬蟲」卻不顧爬蟲協議，以數萬次的爬取不斷侵蝕所有網站的數據。

這時候，終於有一家基建公司站了出來，挽着內容創作者的手說：「我們可以對 AI 巨頭說不！」

Cloudflare，這家掌控全球約 20% 網路流量的互聯網基礎設施巨頭，被網民譽爲「賽博菩薩」的公司，在 2025 年 7 月上線了一個實驗性產品和交易市場：「Pay Per Crawl」——給 AI 爬蟲立下了新規矩：

要麼獲得許可，要麼付費 。

簡單來說，這個功能的本質是給網站內容創作者一個選項「開關」：可以選擇允許 AI 爬蟲自由訪問，按次爬取收費，抑或者直接封鎖訪問。

按照 Cloudflare 創始人的說法，「內容是驅動 AI 引擎的燃料，因此，內容創作者直接獲得報酬才是公平的。」

對 AI 公司來說， 想繼續抓取全網內容來訓練模型，不能再像以前那樣「免費喫大餐」 。但也不是沒有好處，因爲根據明碼標價付費，可以避免版權爭議問題。

Cloudflare 這次的「防蟲」舉措，能緩解 AI 爬蟲的肆意攻擊嗎？更重要的是， 這家公司能否利用自己獨特的地位，建立起一個全新的 AI 時代內容分發和變現模式 ？

01

AI巨頭的「免費午餐」

過去幾十年，大多數網頁默認是公開「可爬」的。谷歌、Bing 這類搜索引擎爲網站帶來流量，有了流量，網站再通過廣告或銷售訂閱變現——這是搜索時代的隱形契約。

可 AI 時代，傳統搜索流量驟降，這筆帳越算越虧。

AI 公司把全網內容當作訓練燃料，卻幾乎不用給大部分創作者回報。當用戶直接在 AI 聊天機器人裏提問，答案往往來源於總結好的內容，而不是數十個藍色連結，不會給網站帶來更多流量。

甚至於谷歌這樣的搜索巨頭本身也在變化，以前他們提供網站連結列表，如今他們在搜索頁面推出了「人工智能概述」，據他們的報告，75% 的查詢用戶無需點擊任何連結就得到了解答。

Cloudflare 2025 年 7 月的最新數據顯示： 谷歌的爬蟲大約每 6 至 7 次抓取給網站帶回 1 次點擊，而 OpenAI 則是 1500 次才換來 1 次跳轉，Anthropic 的比例甚至更誇張，高達 73300 次換 1 次 。

各大公司 AI 爬蟲每次抓取爲網站帶來的點擊比例｜圖片來源： Cloudflare

這意味着，傳統的「內容換流量」模式失效了。相比傳統搜索引擎，AI 巨頭們喫掉了海量網站內容，卻不給「導流」，這種失衡讓一些內容生產者愈發難以爲繼。

「有了 OpenAI，網站流量獲取難度比谷歌時代高出 750 倍，而有了 Anthropic，難度更是高達 3 萬倍。原因很簡單： 我們越來越不再消費原創內容，而是消費它們的衍生品 。」Cloudflare CEO Matthew Prince 在一篇博文中稱，「這不是一個公平的交易」。

AI 公司爬數據也不是沒有代價的，這兩年 AI 巨頭一直被指控「偷內容」來訓練大模型，引發全球範圍的版權訴訟潮，尤其是紐約時報等新聞機構和 OpenAI 訴訟不斷。

活躍的大廠 AI 爬蟲機器人｜圖片來源： Cloudflare

因此，Cloudflare 推出「Pay Per Crawl」，建立一個「按次付費爬取」的市場，想要解決的正是這個問題。

該公司設計了一個權限和支付系統，網站可以在後臺選擇對 AI 爬蟲「允許、封鎖或收費」，AI 爬蟲如果想抓取該網站內容，必須註冊、驗證身分，並在每次訪問時完成支付。

如果順利， 這一模式能讓網路內容從「廣告變現」走向「內容授權變現」，開拓全新的收入來源 。無論是大媒體，還是冷門小博客，都能在 AI 時代擁有議價權，被 AI 付費使用。

爲了強調其意義，Cloudflare CEO 還將「Pay Per Crawl」推出的這一天稱爲：

「內容的獨立日」 。

02

AI 「過路費」怎麼收？

當然，設想很美，但技術怎麼落地？

Cloudflare 這家公司起家靠的是提供 CDN、DDoS 防護、DNS、零信任安全等服務，它在全球 300 多個城市部署了節點，承載約 20% 的 Web 流量，給它當「中介」提供了方便。

「Pay Per Crawl」建立在它全球 CDN 網路的中間層：它能在訪問請求進到源站前就識別和處理 AI 爬蟲。站長可以在 Cloudflare 後臺設定三種模式：允許、收費、封鎖。

站長可以在後臺設定允許、收費或封鎖｜圖片來源： Cloudflare

所有新加入 Cloudflare 的網站默認封鎖 AI 爬蟲，除非站長主動允許。只有與 Cloudflare 建立合作關係的 AI 公司才能參與支付機制，否則將被封鎖。

如果 AI 爬蟲向付費 URL 發起請求，尚未付費，Cloudflare 就會返回 HTTP 402 Payment Required 狀態碼——一個過去幾乎沒人用的、專門爲「網路支付」預留的狀態碼。AI 爬蟲可以在請求裏帶上支付信息，以表示同意支付配置的價格，一旦匹配價格就放行返回 200 OK，並自動結算。

Cloudflare 本身則是這個交易的「收銀臺」，負責聚合帳單和分發收益 。

Cloudflare 會返回 HTTP 402 Payment Required 狀態碼｜圖片來源：Cloudflare

爬蟲可以在請求裏帶上支付信息｜圖片來源： Cloudflare

HTTP 200 OK 響應確認收費｜圖片來源： Cloudflare

更重要的是，這並不是靠簡單的 User-Agent 欺騙就能繞過的。Cloudflare 要求 AI 公司註冊密鑰，用數字籤名保證身分。這也是爲了防止「山寨爬蟲」冒充合規者逃避支付。

過去，robots.txt 是一個放在網站根目錄下的純文本文件，用來告訴搜索引擎的爬蟲哪些頁面可以抓取，哪些不可以，但它只是網站的「禮貌建議」，很多 AI 爬蟲根本不理會。Cloudflare 的方案改變了這一點，把現有的、靠 robots.txt 的「軟約束」變成了「硬閘門」。

不過，據 Cloudflare 稱， 目前排名前 10000 的域名中，只有約 37% 擁有 robots.txt 文件 。

給 AI 爬蟲設置關卡｜圖片來源： Cloudflare

如果要參與 Cloudflare 的爬取付費市場，爬取方、被爬取方都必須開設 Cloudflare 帳戶。截至目前，「Pay Per Crawl」仍處於內測階段，僅部分大型出版商參與，如 BuzzFeed、《大西洋月刊》和《財富》等，Cloudflare 還在持續公開徵集有意向的內容創作者和抓取者。

「我們預計按次付費模式將迎來顯著發展。」Cloudflare 官方稱。

雖然目前仍處於初期階段，但該公司對未來還有很多設想。比如，出版商或其他機構可以針對不同內容類型收取不同費用，或者根據 AI 應用的用戶數量進行動態定價，或者根據訓練、推理、搜索等不同領域引入更細粒度的定價策略。

他們還認爲， 按次付費爬蟲的真正潛力或許會在 Agent 智能代理的世界中顯現 。

「如果智能代理付費牆能夠完全以程序化的方式運作，會怎樣？想象一下，你可以請你的深度研究助手幫你整理最新的癌症研究、法律簡報，或者幫你找最好的餐廳——然後給這位智能代理一筆預算，用於獲取最有用、最相關的內容。」

「以 HTTP 402 響應代碼爲基石的首個解決方案，將開啓一個智能代理能夠以程序化方式協商訪問數字資源的未來。」Cloudflare 稱。

03

Internet 的十字路口

從經濟層面來說，這可能是 AI 和廣大內容創作者「重新談判分帳」的開端。

現在，只有頭部大媒體能和 AI 公司談授權（比如 紐約時報告了 OpenAI 後才談成和解），絕大多數中小網站、論壇甚至個人作者都被「默默爬走」，毫無反抗的能力，或者說意識。Cloudflare 的方案，實際上可以把這種議價能力普及到更廣泛的網站。

據 Cloudflare 團隊稱，他們與新聞機構、出版商和大型社交媒體平台進行了數百次對話，他們一致「希望允許 AI 爬蟲訪問其內容，但希望獲得報酬。」

對於支持者來說，「Pay Per Crawl」模式在理念上很「公平」：創作者有了收入，AI 公司也避免了法律風險，長遠看能推動整個產業走向更合規的內容許可。

圖片來源： Cloudflare

當然，AI 公司未必開心，互聯網數據不再免費，要抓新內容，就得花錢，這意味着算力之外的成本要素。

但另一方面，這也或許會抑制濫抓取，也迫使 AI 模型開發者在數據上更有選擇性——比如針對性購買高價值的內容，而不是一股腦地把各種網站內容都喂進模型裏。

Matthew Prince 稱，「 AI 引擎就像一塊瑞士奶酪，真正能夠填補這塊奶酪孔洞的全新原創內容 ，比如今佔據網路大部分版面的重復性、低價值內容更有價值。」

在他看來，流量一直以來都無法準確衡量內容的價值，「如果我們能夠開始對內容進行評分和評估，不是根據它產生了多少流量，而是根據它對知識的促進程度（以它填補了多少 AI 引擎「瑞士奶酪」中的現有孔洞來衡量）——我們不僅可以幫助 AI 引擎更快地進步，而且有可能促進高價值內容創作的新黃金時代。」

不過，數字權利倡導者可能會提出：小型 AI 創業團隊、研究者、開源社區，能否承擔這樣的數據成本？學術研究、公益存檔這些「良性爬蟲」會不會寸步難行，只能訪問有限、低價值的數據源？

在一個廣告收益下滑、流量成本高漲的現實裏，會有多少網站願意無償開放給 AI 爬蟲吸血？這會不會成爲「封閉化」的開始，讓互聯網失去它的自由與共享精神？

如果全網都默認封鎖收費，這會不會無意中加劇「大廠壟斷」 ？畢竟，大廠比較有錢。

「Pay Per Crawl」模式，一方面試圖解決 AI 吸血內容卻不反哺的問題，另一方面，也有可能在無意中加高 AI 創新的門檻，回到版權保護與知識開放的老命題。

當然，Cloudflare 只是給網站更多自主權。網站所有者完全可以選擇對公益、非營利項目繼續免費開放。權力仍然在創作者手裏。不管怎麼說，他們值得獲得「補償」。

在 Cloudflare CEO 的話裏，這場變革的目標是「構建更美好的互聯網」。「我們尚不知道所有答案，但我們正在與一些頂尖的經濟學家和計算機科學家合作尋找答案。」

目前，其他其他 CDN 和安全提供商（比如 Akamai、Fastly、Amazon CloudFront）尚未宣布類似的功能。

把 AI 爬蟲機器人擋在門外｜圖片來源： Cloudflare

雖然 Cloudflare 的「Pay Per Crawl」看起來只是一個 CDN 產品的新功能，但從某種意義上說：

它可能成爲互聯網走到一個分岔口的信號 。

在搜索時代，內容的價值是通過用戶訪問轉化爲廣告收益。但 AI 時代，用戶可能根本不會再點進網站——所有答案都在聊天機器人裏總結生成。是繼續讓 AI 大模型免費挖掘網路內容，還是在數據獲取上回歸「互惠」原則，讓創作者獲得應有的補償？補償又能有多少？

這個早期實驗可能在爲一個新的 AI 時代數據經濟形態鋪路，無論成敗如何，它的立場很明顯：AI 不能無限透支創作者的耐心，並在「開放」的名義下把人的勞動變成免費的燃料。

「網路正在發生變革，它的商業模式也將隨之改變。在這個過程中，我們有機會從過去的 30 年裏學到好的地方，讓它在未來變得更好。」

至於，事情是不是能真的變好，像 Cloudflare 自己承認的那樣：

「 這僅僅是個開始 。」