Musk và Trump, cặp đôi này tại Nhà Trắng gần đây đã bước vào giai đoạn "đấu khẩu chiến" 2.0. Giống như cặp đôi oan gia này, là cuộc chiến giữa các tập đoàn xuất bản nước ngoài và các ông lớn AI - một bên có các nhà xuất bản lớn muốn hợp tác với các công ty AI, trong khi bên kia có các nhà xuất bản quyết tâm kiện các ông lớn AI đến phá sản.
Theo dữ liệu, sau khi AI tìm kiếm và ChatGPT xuất hiện, lưu lượng truy cập trên các trang web toàn cầu đang giảm; mặt khác, các gã khổng lồ AI với "công cụ thu thập dữ liệu AI" lại mặc kệ các quy định thu thập dữ liệu, liên tục xâm phạm dữ liệu của tất cả các trang web với hàng chục nghìn lần thu thập.
Lúc này, cuối cùng có một công ty cơ sở hạ tầng đứng ra, nắm tay các nhà sáng tạo nội dung và nói: "Chúng tôi có thể nói không với các ông lớn AI!"
Cloudflare, gã khổng lồ cơ sở hạ tầng internet kiểm soát khoảng 20% lưu lượng mạng toàn cầu, được người dùng mạng ca ngợi là "Bồ Tát mạng" của công ty, đã ra mắt một sản phẩm thử nghiệm và thị trường giao dịch vào tháng 7 năm 2025: "Pay Per Crawl" - đặt ra quy tắc mới cho các con bọ AI:
Hoặc nhận giấy phép, hoặc phải trả phí.
Nói một cách đơn giản, bản chất của chức năng này là cung cấp cho các nhà sáng tạo nội dung trên trang web một lựa chọn "công tắc": có thể chọn cho phép AI thu thập dữ liệu truy cập tự do, tính phí theo lượt thu thập, hoặc trực tiếp chặn quyền truy cập.
Theo lời của người sáng lập Cloudflare, "Nội dung là nhiên liệu thúc đẩy động cơ AI, vì vậy, việc các nhà sáng tạo nội dung nhận được tiền thưởng trực tiếp là điều công bằng."
Đối với các công ty AI, nếu muốn tiếp tục thu thập nội dung trên toàn mạng để đào tạo mô hình, không thể như trước đây "miễn phí ăn buffet". Nhưng cũng không phải không có lợi, vì việc trả tiền theo giá niêm yết có thể tránh được các vấn đề tranh chấp bản quyền.
Liệu biện pháp "chống côn trùng" của Cloudflare lần này có thể giảm bớt các cuộc tấn công của AI spider một cách tùy tiện không? Quan trọng hơn, công ty này có thể tận dụng vị trí độc đáo của mình để thiết lập một mô hình phân phối và kiếm tiền nội dung hoàn toàn mới cho kỷ nguyên AI không?
01
"Bữa trưa miễn phí" của các ông lớn AI
Trong vài thập kỷ qua, hầu hết các trang web mặc định là công khai và "có thể thu thập". Các công cụ tìm kiếm như Google, Bing đã mang lại lưu lượng truy cập cho các trang web, với lưu lượng này, các trang web sau đó có thể kiếm tiền thông qua quảng cáo hoặc bán đăng ký - đây là hợp đồng ngầm của thời đại tìm kiếm.
Trong thời đại AI, lưu lượng tìm kiếm truyền thống giảm mạnh, càng tính toán càng lỗ.
Công ty AI coi nội dung toàn mạng như nhiên liệu huấn luyện, nhưng hầu như không phải trả lại cho phần lớn người sáng tạo. Khi người dùng hỏi trực tiếp trong chatbot AI, câu trả lời thường xuất phát từ nội dung đã được tổng hợp, chứ không phải từ hàng chục liên kết màu xanh, sẽ không mang lại nhiều lưu lượng truy cập hơn cho trang web.
Ngay cả những gã khổng lồ tìm kiếm như Google cũng đang thay đổi, trước đây họ cung cấp danh sách liên kết trang web, nhưng hiện nay họ đã ra mắt "Tổng quan về trí tuệ nhân tạo" trên trang tìm kiếm của họ, theo báo cáo của họ, 75% người dùng truy vấn không cần phải nhấp vào bất kỳ liên kết nào để có được câu trả lời.
Dữ liệu mới nhất từ Cloudflare vào tháng 7 năm 2025 cho thấy: Bot của Google mang lại khoảng 1 lần nhấp cho mỗi 6 đến 7 lần thu thập dữ liệu của website, trong khi OpenAI chỉ có 1 lần chuyển đổi sau 1500 lần, tỉ lệ của Anthropic còn đáng kinh ngạc hơn, lên đến 1 lần sau 73300 lần.
Tỷ lệ nhấp chuột mà các công ty lớn AI crawler mang lại cho trang web mỗi lần thu thập | Nguồn hình ảnh: Cloudflare
Điều này có nghĩa là mô hình "nội dung đổi lưu lượng" truyền thống đã không còn hiệu quả. So với các công cụ tìm kiếm truyền thống, các gã khổng lồ AI đã tiêu thụ một lượng lớn nội dung từ các trang web, nhưng lại không cung cấp "lưu lượng", sự mất cân bằng này khiến một số nhà sản xuất nội dung ngày càng khó khăn để tồn tại.
"Với OpenAI, độ khó lấy được lưu lượng truy cập trang web cao gấp 750 lần so với thời đại Google, và với Anthropic, độ khó thậm chí cao đến 30.000 lần. Nguyên nhân rất đơn giản: Chúng ta ngày càng không tiêu thụ nội dung gốc mà tiêu thụ các sản phẩm phụ của chúng." CEO Cloudflare Matthew Prince đã nói trong một bài viết trên blog, "Đây không phải là một giao dịch công bằng."
Các công ty AI thu thập dữ liệu cũng không phải là không có giá, trong hai năm qua, các ông lớn trong lĩnh vực AI liên tục bị cáo buộc "đánh cắp nội dung" để huấn luyện các mô hình lớn, dẫn đến một làn sóng kiện tụng về bản quyền trên toàn cầu, đặc biệt là các tổ chức báo chí như New York Times và OpenAI liên tục kiện nhau.
Robot thu thập dữ liệu AI hoạt động mạnh mẽ｜Nguồn ảnh: Cloudflare
Do đó, Cloudflare đã ra mắt "Pay Per Crawl", xây dựng một thị trường "trả phí theo lần thu thập", nhằm giải quyết chính vấn đề này.
Công ty đã thiết kế một hệ thống quyền hạn và thanh toán, trang web có thể chọn cho AI bot "cho phép, chặn hoặc thu phí" trong phần backend. Nếu AI bot muốn thu thập nội dung của trang web này, nó phải đăng ký, xác thực danh tính và hoàn thành thanh toán mỗi khi truy cập.
Nếu thuận lợi, mô hình này có thể giúp nội dung trên mạng chuyển từ "kiếm tiền từ quảng cáo" sang "kiếm tiền từ quyền sử dụng nội dung", mở ra nguồn thu nhập hoàn toàn mới. Dù là các phương tiện truyền thông lớn hay những blog nhỏ ít người biết đến, tất cả đều có thể có quyền thương lượng trong kỷ nguyên AI, được AI trả phí sử dụng.
Để nhấn mạnh tầm quan trọng của nó, Giám đốc điều hành Cloudflare còn gọi ngày ra mắt "Pay Per Crawl" là:
「Ngày độc lập của nội dung」.
02
AI "phí qua đường" được thu như thế nào?
Tất nhiên, ý tưởng rất đẹp, nhưng công nghệ sẽ được triển khai như thế nào?
Công ty Cloudflare khởi đầu bằng cách cung cấp các dịch vụ như CDN, bảo vệ DDoS, DNS, an ninh không tin cậy, và đã triển khai các nút ở hơn 300 thành phố trên toàn cầu, chịu trách nhiệm khoảng 20% lưu lượng Web, điều này đã tạo điều kiện thuận lợi cho nó hoạt động như một "người trung gian".
"Pay Per Crawl" được xây dựng trên lớp trung gian của mạng CDN toàn cầu của nó: nó có thể nhận dạng và xử lý AI bot trước khi yêu cầu truy cập đến nguồn. Quản trị viên có thể thiết lập ba chế độ trong bảng điều khiển Cloudflare: cho phép, thu phí, chặn.
Quản trị viên có thể thiết lập trong bảng điều khiển để cho phép, thu phí hoặc chặn｜Nguồn hình ảnh: Cloudflare
Tất cả các trang web mới tham gia Cloudflare đều bị chặn các bot AI theo mặc định, trừ khi quản trị viên trang web cho phép. Chỉ các công ty AI hợp tác với Cloudflare mới có thể tham gia cơ chế thanh toán, nếu không sẽ bị chặn.
Nếu AI crawler gửi yêu cầu đến URL trả phí mà chưa thanh toán, Cloudflare sẽ trả về mã trạng thái HTTP 402 Payment Required - một mã trạng thái gần như không ai sử dụng trong quá khứ, được dành riêng cho "thanh toán trực tuyến". AI crawler có thể đính kèm thông tin thanh toán trong yêu cầu để thể hiện sự đồng ý thanh toán mức giá đã cấu hình, ngay khi mức giá được khớp sẽ cho phép và trả về 200 OK, đồng thời tự động thanh toán.
Cloudflare chính là "quầy thu ngân" của giao dịch này, chịu trách nhiệm tập hợp hóa đơn và phân phối lợi nhuận.
Cloudflare sẽ trả về mã trạng thái HTTP 402 Payment Required｜Hình ảnh nguồn: Cloudflare
Bọ cạp có thể mang theo thông tin thanh toán trong yêu cầu｜Nguồn ảnh: Cloudflare
HTTP 200 OK phản hồi xác nhận phí｜Hình ảnh nguồn: Cloudflare
Điều quan trọng hơn là điều này không thể bị vượt qua chỉ bằng cách giả mạo User-Agent một cách đơn giản. Cloudflare yêu cầu các công ty AI đăng ký khóa, sử dụng chữ ký số để đảm bảo danh tính. Điều này cũng nhằm ngăn chặn "các bot giả" giả mạo những người tuân thủ để tránh thanh toán.
Trước đây, robots.txt là một tệp văn bản thuần túy nằm trong thư mục gốc của trang web, dùng để thông báo cho các bot tìm kiếm những trang nào có thể thu thập, những trang nào không thể, nhưng nó chỉ là "gợi ý lịch sự" của trang web, nhiều bot AI hoàn toàn không quan tâm. Giải pháp của Cloudflare đã thay đổi điều này, biến "ràng buộc mềm" dựa trên robots.txt thành "cửa ngăn cản cứng".
Tuy nhiên, theo Cloudflare, trong số 10.000 tên miền hàng đầu hiện nay, chỉ có khoảng 37% có tệp robots.txt.
Đặt cấp độ cho AI crawler｜Nguồn hình ảnh: Cloudflare
Nếu muốn tham gia vào thị trường thu phí của Cloudflare, cả bên thu thập và bên bị thu thập đều phải mở tài khoản Cloudflare. Tính đến thời điểm hiện tại, "Pay Per Crawl" vẫn đang trong giai đoạn thử nghiệm nội bộ, chỉ một số nhà xuất bản lớn tham gia, như BuzzFeed, Tạp chí Atlantic và Fortune, Cloudflare vẫn đang tiếp tục công khai kêu gọi các nhà sáng tạo nội dung và người thu thập có ý định tham gia.
"Chúng tôi dự đoán mô hình thanh toán theo từng lần sẽ có sự phát triển đáng kể." Cloudflare chính thức cho biết.
Mặc dù hiện tại vẫn ở giai đoạn đầu, nhưng công ty có rất nhiều ý tưởng cho tương lai. Ví dụ, các nhà xuất bản hoặc các tổ chức khác có thể thu phí khác nhau cho các loại nội dung khác nhau, hoặc định giá động dựa trên số lượng người dùng của ứng dụng AI, hoặc đưa ra các chiến lược định giá chi tiết hơn dựa trên các lĩnh vực như đào tạo, suy diễn, tìm kiếm, v.v.
Họ cũng cho rằng, tiềm năng thực sự của việc trả phí theo lần cho các bot có thể sẽ được thể hiện trong thế giới của các đại lý thông minh Agent.
"Nếu tường phí của đại lý thông minh có thể hoạt động hoàn toàn theo cách lập trình, thì sẽ như thế nào? Hãy tưởng tượng rằng bạn có thể nhờ trợ lý nghiên cứu sâu của mình giúp bạn tổng hợp các nghiên cứu mới nhất về ung thư, bản tóm tắt pháp lý, hoặc giúp bạn tìm nhà hàng tốt nhất - sau đó cấp cho đại lý thông minh này một ngân sách để có được nội dung hữu ích và liên quan nhất."
"Giải pháp đầu tiên dựa trên mã phản hồi HTTP 402 sẽ mở ra một tương lai nơi các đại lý thông minh có thể thương thảo quyền truy cập vào tài nguyên số một cách lập trình." Cloudflare cho biết.
03
Ngã tư của Internet
Từ góc độ kinh tế, đây có thể là khởi đầu cho việc AI và các nhà sáng tạo nội dung lớn "đàm phán lại phân chia doanh thu".
Hiện nay, chỉ có những phương tiện truyền thông lớn mới có khả năng thương lượng quyền cấp phép với các công ty AI (ví dụ như New York Times chỉ sau khi báo cáo về OpenAI mới đạt được thỏa thuận), hầu hết các trang web, diễn đàn nhỏ và ngay cả các tác giả cá nhân đều bị "lặng lẽ thu hút" mà không có khả năng phản kháng, hoặc nói cách khác là thiếu ý thức. Giải pháp của Cloudflare thực sự có thể phổ biến khả năng thương lượng này đến nhiều trang web rộng rãi hơn.
Theo nhóm Cloudflare, họ đã có hàng trăm cuộc đối thoại với các cơ quan truyền thông, nhà xuất bản và các nền tảng mạng xã hội lớn, và họ đồng ý "muốn cho phép các bot AI truy cập nội dung của họ, nhưng muốn được đền bù."
Đối với những người ủng hộ, mô hình "Pay Per Crawl" về lý thuyết là "công bằng": người sáng tạo có thu nhập, công ty AI cũng tránh được rủi ro pháp lý, và về lâu dài có thể thúc đẩy toàn ngành tiến đến việc cấp phép nội dung hợp pháp hơn.
Hình ảnh nguồn: Cloudflare
Tất nhiên, các công ty AI chưa chắc đã vui vẻ, dữ liệu Internet không còn miễn phí nữa, để có được nội dung mới, phải chi tiền, điều này có nghĩa là các yếu tố chi phí bên ngoài sức mạnh tính toán.
Nhưng mặt khác, điều này có thể hạn chế việc thu thập dữ liệu một cách bừa bãi, đồng thời buộc các nhà phát triển mô hình AI phải lựa chọn dữ liệu một cách kỹ lưỡng hơn - chẳng hạn như mua nội dung có giá trị cao, thay vì nhồi nhét tất cả nội dung từ các trang web vào mô hình.
Matthew Prince nói, "Động cơ AI giống như một miếng phô mai Thụy Sĩ, nội dung gốc mới thực sự có thể lấp đầy những lỗ hổng trong miếng phô mai này, ví dụ như những nội dung lặp lại, có giá trị thấp hiện đang chiếm phần lớn diện tích trên mạng còn có giá trị hơn."
Theo quan điểm của anh ấy, lưu lượng truy cập từ trước đến nay đều không thể đo lường chính xác giá trị của nội dung, "nếu chúng ta có thể bắt đầu đánh giá và chấm điểm nội dung, không phải dựa trên việc nó tạo ra bao nhiêu lưu lượng, mà dựa trên mức độ mà nó thúc đẩy kiến thức (đo lường bằng cách nó lấp đầy bao nhiêu lỗ hổng hiện có trong "phô mai Thụy Sĩ" của các động cơ AI) — chúng ta không chỉ có thể giúp các động cơ AI tiến bộ nhanh hơn, mà còn có khả năng thúc đẩy một kỷ nguyên vàng mới trong việc sáng tạo nội dung có giá trị cao."
Tuy nhiên, những người ủng hộ quyền số có thể đặt ra câu hỏi: Liệu các đội khởi nghiệp AI nhỏ, các nhà nghiên cứu và cộng đồng mã nguồn mở có thể gánh vác được chi phí dữ liệu như vậy không? Liệu nghiên cứu học thuật và lưu trữ công ích, những "công cụ thu thập dữ liệu tích cực" này có gặp khó khăn và chỉ có thể truy cập vào những nguồn dữ liệu hạn chế, ít giá trị?
Trong một thực tế mà doanh thu quảng cáo giảm sút và chi phí lưu lượng tăng cao, có bao nhiêu trang web sẵn sàng mở cửa miễn phí cho các bot AI hút máu? Điều này có phải sẽ trở thành khởi đầu của việc "bị đóng kín", khiến internet mất đi tinh thần tự do và chia sẻ của nó?
Nếu toàn mạng đều mặc định chặn phí, điều này có vô tình làm tăng cường "độc quyền của các công ty lớn" không? Dù sao, các công ty lớn thường có nhiều tiền hơn.
Chế độ "Pay Per Crawl" vừa cố gắng giải quyết vấn đề nội dung AI hút máu mà không hồi báo, vừa có thể vô tình làm tăng ngưỡng đổi mới của AI, quay trở lại với vấn đề cũ về bảo vệ bản quyền và mở kiến thức.
Tất nhiên, Cloudflare chỉ mang lại cho các trang web nhiều quyền tự chủ hơn. Chủ sở hữu trang web hoàn toàn có thể chọn tiếp tục mở miễn phí cho các dự án phi lợi nhuận và công ích. Quyền lực vẫn nằm trong tay người sáng tạo. Dù sao đi nữa, họ xứng đáng nhận được "bồi thường".
Trong lời của CEO Cloudflare, mục tiêu của cuộc cách mạng này là "xây dựng một internet tốt đẹp hơn". "Chúng tôi vẫn chưa biết tất cả các câu trả lời, nhưng chúng tôi đang hợp tác với một số nhà kinh tế học và nhà khoa học máy tính hàng đầu để tìm kiếm câu trả lời."
Hiện tại, các nhà cung cấp CDN và bảo mật khác (như Akamai, Fastly, Amazon CloudFront) vẫn chưa công bố các tính năng tương tự.
Để AI robot thu thập dữ liệu không vào được｜Nguồn hình ảnh: Cloudflare
Mặc dù "Pay Per Crawl" của Cloudflare trông giống như một tính năng mới của sản phẩm CDN, nhưng theo một nghĩa nào đó:
Nó có thể trở thành tín hiệu cho sự phân nhánh của Internet.
Trong kỷ nguyên tìm kiếm, giá trị của nội dung được chuyển đổi thành doanh thu quảng cáo thông qua lượt truy cập của người dùng. Nhưng trong kỷ nguyên AI, người dùng có thể sẽ không truy cập vào trang web nữa - tất cả các câu trả lời đều được tóm tắt và tạo ra trong chatbot. Liệu có nên để các mô hình AI lớn khai thác nội dung trên mạng miễn phí, hay nên trở lại nguyên tắc "hữu nghị" trong việc thu thập dữ liệu, cho phép những người sáng tạo nhận được bù đắp xứng đáng? Bù đắp có thể là bao nhiêu?
Thí nghiệm sớm này có thể đang mở đường cho một hình thái kinh tế dữ liệu mới trong thời đại AI, bất kể thành công hay thất bại, lập trường của nó rất rõ ràng: AI không thể vô hạn làm cạn kiệt sự kiên nhẫn của người sáng tạo và biến lao động của con người thành nhiên liệu miễn phí dưới danh nghĩa "mở".
"Mạng lưới đang trải qua sự thay đổi, và mô hình kinh doanh của nó cũng sẽ thay đổi theo. Trong quá trình này, chúng ta có cơ hội học hỏi từ những điều tốt đẹp của 30 năm qua để làm cho nó tốt hơn trong tương lai."
Về việc liệu mọi thứ có thực sự trở nên tốt hơn, như chính Cloudflare đã thừa nhận:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
"Cyber Bồ Tát" phát huy tác dụng, thời đại "bữa trưa miễn phí" của các ông lớn AI đã kết thúc.
Musk và Trump, cặp đôi này tại Nhà Trắng gần đây đã bước vào giai đoạn "đấu khẩu chiến" 2.0. Giống như cặp đôi oan gia này, là cuộc chiến giữa các tập đoàn xuất bản nước ngoài và các ông lớn AI - một bên có các nhà xuất bản lớn muốn hợp tác với các công ty AI, trong khi bên kia có các nhà xuất bản quyết tâm kiện các ông lớn AI đến phá sản.
Theo dữ liệu, sau khi AI tìm kiếm và ChatGPT xuất hiện, lưu lượng truy cập trên các trang web toàn cầu đang giảm; mặt khác, các gã khổng lồ AI với "công cụ thu thập dữ liệu AI" lại mặc kệ các quy định thu thập dữ liệu, liên tục xâm phạm dữ liệu của tất cả các trang web với hàng chục nghìn lần thu thập.
Lúc này, cuối cùng có một công ty cơ sở hạ tầng đứng ra, nắm tay các nhà sáng tạo nội dung và nói: "Chúng tôi có thể nói không với các ông lớn AI!"
Cloudflare, gã khổng lồ cơ sở hạ tầng internet kiểm soát khoảng 20% lưu lượng mạng toàn cầu, được người dùng mạng ca ngợi là "Bồ Tát mạng" của công ty, đã ra mắt một sản phẩm thử nghiệm và thị trường giao dịch vào tháng 7 năm 2025: "Pay Per Crawl" - đặt ra quy tắc mới cho các con bọ AI:
Hoặc nhận giấy phép, hoặc phải trả phí.
Nói một cách đơn giản, bản chất của chức năng này là cung cấp cho các nhà sáng tạo nội dung trên trang web một lựa chọn "công tắc": có thể chọn cho phép AI thu thập dữ liệu truy cập tự do, tính phí theo lượt thu thập, hoặc trực tiếp chặn quyền truy cập.
Theo lời của người sáng lập Cloudflare, "Nội dung là nhiên liệu thúc đẩy động cơ AI, vì vậy, việc các nhà sáng tạo nội dung nhận được tiền thưởng trực tiếp là điều công bằng."
Đối với các công ty AI, nếu muốn tiếp tục thu thập nội dung trên toàn mạng để đào tạo mô hình, không thể như trước đây "miễn phí ăn buffet". Nhưng cũng không phải không có lợi, vì việc trả tiền theo giá niêm yết có thể tránh được các vấn đề tranh chấp bản quyền.
Liệu biện pháp "chống côn trùng" của Cloudflare lần này có thể giảm bớt các cuộc tấn công của AI spider một cách tùy tiện không? Quan trọng hơn, công ty này có thể tận dụng vị trí độc đáo của mình để thiết lập một mô hình phân phối và kiếm tiền nội dung hoàn toàn mới cho kỷ nguyên AI không?
01
"Bữa trưa miễn phí" của các ông lớn AI
Trong vài thập kỷ qua, hầu hết các trang web mặc định là công khai và "có thể thu thập". Các công cụ tìm kiếm như Google, Bing đã mang lại lưu lượng truy cập cho các trang web, với lưu lượng này, các trang web sau đó có thể kiếm tiền thông qua quảng cáo hoặc bán đăng ký - đây là hợp đồng ngầm của thời đại tìm kiếm.
Trong thời đại AI, lưu lượng tìm kiếm truyền thống giảm mạnh, càng tính toán càng lỗ.
Công ty AI coi nội dung toàn mạng như nhiên liệu huấn luyện, nhưng hầu như không phải trả lại cho phần lớn người sáng tạo. Khi người dùng hỏi trực tiếp trong chatbot AI, câu trả lời thường xuất phát từ nội dung đã được tổng hợp, chứ không phải từ hàng chục liên kết màu xanh, sẽ không mang lại nhiều lưu lượng truy cập hơn cho trang web.
Ngay cả những gã khổng lồ tìm kiếm như Google cũng đang thay đổi, trước đây họ cung cấp danh sách liên kết trang web, nhưng hiện nay họ đã ra mắt "Tổng quan về trí tuệ nhân tạo" trên trang tìm kiếm của họ, theo báo cáo của họ, 75% người dùng truy vấn không cần phải nhấp vào bất kỳ liên kết nào để có được câu trả lời.
Dữ liệu mới nhất từ Cloudflare vào tháng 7 năm 2025 cho thấy: Bot của Google mang lại khoảng 1 lần nhấp cho mỗi 6 đến 7 lần thu thập dữ liệu của website, trong khi OpenAI chỉ có 1 lần chuyển đổi sau 1500 lần, tỉ lệ của Anthropic còn đáng kinh ngạc hơn, lên đến 1 lần sau 73300 lần.
Tỷ lệ nhấp chuột mà các công ty lớn AI crawler mang lại cho trang web mỗi lần thu thập | Nguồn hình ảnh: Cloudflare
Điều này có nghĩa là mô hình "nội dung đổi lưu lượng" truyền thống đã không còn hiệu quả. So với các công cụ tìm kiếm truyền thống, các gã khổng lồ AI đã tiêu thụ một lượng lớn nội dung từ các trang web, nhưng lại không cung cấp "lưu lượng", sự mất cân bằng này khiến một số nhà sản xuất nội dung ngày càng khó khăn để tồn tại.
"Với OpenAI, độ khó lấy được lưu lượng truy cập trang web cao gấp 750 lần so với thời đại Google, và với Anthropic, độ khó thậm chí cao đến 30.000 lần. Nguyên nhân rất đơn giản: Chúng ta ngày càng không tiêu thụ nội dung gốc mà tiêu thụ các sản phẩm phụ của chúng." CEO Cloudflare Matthew Prince đã nói trong một bài viết trên blog, "Đây không phải là một giao dịch công bằng."
Các công ty AI thu thập dữ liệu cũng không phải là không có giá, trong hai năm qua, các ông lớn trong lĩnh vực AI liên tục bị cáo buộc "đánh cắp nội dung" để huấn luyện các mô hình lớn, dẫn đến một làn sóng kiện tụng về bản quyền trên toàn cầu, đặc biệt là các tổ chức báo chí như New York Times và OpenAI liên tục kiện nhau.
Robot thu thập dữ liệu AI hoạt động mạnh mẽ｜Nguồn ảnh: Cloudflare
Do đó, Cloudflare đã ra mắt "Pay Per Crawl", xây dựng một thị trường "trả phí theo lần thu thập", nhằm giải quyết chính vấn đề này.
Công ty đã thiết kế một hệ thống quyền hạn và thanh toán, trang web có thể chọn cho AI bot "cho phép, chặn hoặc thu phí" trong phần backend. Nếu AI bot muốn thu thập nội dung của trang web này, nó phải đăng ký, xác thực danh tính và hoàn thành thanh toán mỗi khi truy cập.
Nếu thuận lợi, mô hình này có thể giúp nội dung trên mạng chuyển từ "kiếm tiền từ quảng cáo" sang "kiếm tiền từ quyền sử dụng nội dung", mở ra nguồn thu nhập hoàn toàn mới. Dù là các phương tiện truyền thông lớn hay những blog nhỏ ít người biết đến, tất cả đều có thể có quyền thương lượng trong kỷ nguyên AI, được AI trả phí sử dụng.
Để nhấn mạnh tầm quan trọng của nó, Giám đốc điều hành Cloudflare còn gọi ngày ra mắt "Pay Per Crawl" là:
「Ngày độc lập của nội dung」.
02
AI "phí qua đường" được thu như thế nào?
Tất nhiên, ý tưởng rất đẹp, nhưng công nghệ sẽ được triển khai như thế nào?
Công ty Cloudflare khởi đầu bằng cách cung cấp các dịch vụ như CDN, bảo vệ DDoS, DNS, an ninh không tin cậy, và đã triển khai các nút ở hơn 300 thành phố trên toàn cầu, chịu trách nhiệm khoảng 20% lưu lượng Web, điều này đã tạo điều kiện thuận lợi cho nó hoạt động như một "người trung gian".
"Pay Per Crawl" được xây dựng trên lớp trung gian của mạng CDN toàn cầu của nó: nó có thể nhận dạng và xử lý AI bot trước khi yêu cầu truy cập đến nguồn. Quản trị viên có thể thiết lập ba chế độ trong bảng điều khiển Cloudflare: cho phép, thu phí, chặn.
Quản trị viên có thể thiết lập trong bảng điều khiển để cho phép, thu phí hoặc chặn｜Nguồn hình ảnh: Cloudflare
Tất cả các trang web mới tham gia Cloudflare đều bị chặn các bot AI theo mặc định, trừ khi quản trị viên trang web cho phép. Chỉ các công ty AI hợp tác với Cloudflare mới có thể tham gia cơ chế thanh toán, nếu không sẽ bị chặn.
Nếu AI crawler gửi yêu cầu đến URL trả phí mà chưa thanh toán, Cloudflare sẽ trả về mã trạng thái HTTP 402 Payment Required - một mã trạng thái gần như không ai sử dụng trong quá khứ, được dành riêng cho "thanh toán trực tuyến". AI crawler có thể đính kèm thông tin thanh toán trong yêu cầu để thể hiện sự đồng ý thanh toán mức giá đã cấu hình, ngay khi mức giá được khớp sẽ cho phép và trả về 200 OK, đồng thời tự động thanh toán.
Cloudflare chính là "quầy thu ngân" của giao dịch này, chịu trách nhiệm tập hợp hóa đơn và phân phối lợi nhuận.
Cloudflare sẽ trả về mã trạng thái HTTP 402 Payment Required｜Hình ảnh nguồn: Cloudflare
Bọ cạp có thể mang theo thông tin thanh toán trong yêu cầu｜Nguồn ảnh: Cloudflare
HTTP 200 OK phản hồi xác nhận phí｜Hình ảnh nguồn: Cloudflare
Điều quan trọng hơn là điều này không thể bị vượt qua chỉ bằng cách giả mạo User-Agent một cách đơn giản. Cloudflare yêu cầu các công ty AI đăng ký khóa, sử dụng chữ ký số để đảm bảo danh tính. Điều này cũng nhằm ngăn chặn "các bot giả" giả mạo những người tuân thủ để tránh thanh toán.
Trước đây, robots.txt là một tệp văn bản thuần túy nằm trong thư mục gốc của trang web, dùng để thông báo cho các bot tìm kiếm những trang nào có thể thu thập, những trang nào không thể, nhưng nó chỉ là "gợi ý lịch sự" của trang web, nhiều bot AI hoàn toàn không quan tâm. Giải pháp của Cloudflare đã thay đổi điều này, biến "ràng buộc mềm" dựa trên robots.txt thành "cửa ngăn cản cứng".
Tuy nhiên, theo Cloudflare, trong số 10.000 tên miền hàng đầu hiện nay, chỉ có khoảng 37% có tệp robots.txt.
Đặt cấp độ cho AI crawler｜Nguồn hình ảnh: Cloudflare
Nếu muốn tham gia vào thị trường thu phí của Cloudflare, cả bên thu thập và bên bị thu thập đều phải mở tài khoản Cloudflare. Tính đến thời điểm hiện tại, "Pay Per Crawl" vẫn đang trong giai đoạn thử nghiệm nội bộ, chỉ một số nhà xuất bản lớn tham gia, như BuzzFeed, Tạp chí Atlantic và Fortune, Cloudflare vẫn đang tiếp tục công khai kêu gọi các nhà sáng tạo nội dung và người thu thập có ý định tham gia.
"Chúng tôi dự đoán mô hình thanh toán theo từng lần sẽ có sự phát triển đáng kể." Cloudflare chính thức cho biết.
Mặc dù hiện tại vẫn ở giai đoạn đầu, nhưng công ty có rất nhiều ý tưởng cho tương lai. Ví dụ, các nhà xuất bản hoặc các tổ chức khác có thể thu phí khác nhau cho các loại nội dung khác nhau, hoặc định giá động dựa trên số lượng người dùng của ứng dụng AI, hoặc đưa ra các chiến lược định giá chi tiết hơn dựa trên các lĩnh vực như đào tạo, suy diễn, tìm kiếm, v.v.
Họ cũng cho rằng, tiềm năng thực sự của việc trả phí theo lần cho các bot có thể sẽ được thể hiện trong thế giới của các đại lý thông minh Agent.
"Nếu tường phí của đại lý thông minh có thể hoạt động hoàn toàn theo cách lập trình, thì sẽ như thế nào? Hãy tưởng tượng rằng bạn có thể nhờ trợ lý nghiên cứu sâu của mình giúp bạn tổng hợp các nghiên cứu mới nhất về ung thư, bản tóm tắt pháp lý, hoặc giúp bạn tìm nhà hàng tốt nhất - sau đó cấp cho đại lý thông minh này một ngân sách để có được nội dung hữu ích và liên quan nhất."
"Giải pháp đầu tiên dựa trên mã phản hồi HTTP 402 sẽ mở ra một tương lai nơi các đại lý thông minh có thể thương thảo quyền truy cập vào tài nguyên số một cách lập trình." Cloudflare cho biết.
03
Ngã tư của Internet
Từ góc độ kinh tế, đây có thể là khởi đầu cho việc AI và các nhà sáng tạo nội dung lớn "đàm phán lại phân chia doanh thu".
Hiện nay, chỉ có những phương tiện truyền thông lớn mới có khả năng thương lượng quyền cấp phép với các công ty AI (ví dụ như New York Times chỉ sau khi báo cáo về OpenAI mới đạt được thỏa thuận), hầu hết các trang web, diễn đàn nhỏ và ngay cả các tác giả cá nhân đều bị "lặng lẽ thu hút" mà không có khả năng phản kháng, hoặc nói cách khác là thiếu ý thức. Giải pháp của Cloudflare thực sự có thể phổ biến khả năng thương lượng này đến nhiều trang web rộng rãi hơn.
Theo nhóm Cloudflare, họ đã có hàng trăm cuộc đối thoại với các cơ quan truyền thông, nhà xuất bản và các nền tảng mạng xã hội lớn, và họ đồng ý "muốn cho phép các bot AI truy cập nội dung của họ, nhưng muốn được đền bù."
Đối với những người ủng hộ, mô hình "Pay Per Crawl" về lý thuyết là "công bằng": người sáng tạo có thu nhập, công ty AI cũng tránh được rủi ro pháp lý, và về lâu dài có thể thúc đẩy toàn ngành tiến đến việc cấp phép nội dung hợp pháp hơn.
Hình ảnh nguồn: Cloudflare
Tất nhiên, các công ty AI chưa chắc đã vui vẻ, dữ liệu Internet không còn miễn phí nữa, để có được nội dung mới, phải chi tiền, điều này có nghĩa là các yếu tố chi phí bên ngoài sức mạnh tính toán.
Nhưng mặt khác, điều này có thể hạn chế việc thu thập dữ liệu một cách bừa bãi, đồng thời buộc các nhà phát triển mô hình AI phải lựa chọn dữ liệu một cách kỹ lưỡng hơn - chẳng hạn như mua nội dung có giá trị cao, thay vì nhồi nhét tất cả nội dung từ các trang web vào mô hình.
Matthew Prince nói, "Động cơ AI giống như một miếng phô mai Thụy Sĩ, nội dung gốc mới thực sự có thể lấp đầy những lỗ hổng trong miếng phô mai này, ví dụ như những nội dung lặp lại, có giá trị thấp hiện đang chiếm phần lớn diện tích trên mạng còn có giá trị hơn."
Theo quan điểm của anh ấy, lưu lượng truy cập từ trước đến nay đều không thể đo lường chính xác giá trị của nội dung, "nếu chúng ta có thể bắt đầu đánh giá và chấm điểm nội dung, không phải dựa trên việc nó tạo ra bao nhiêu lưu lượng, mà dựa trên mức độ mà nó thúc đẩy kiến thức (đo lường bằng cách nó lấp đầy bao nhiêu lỗ hổng hiện có trong "phô mai Thụy Sĩ" của các động cơ AI) — chúng ta không chỉ có thể giúp các động cơ AI tiến bộ nhanh hơn, mà còn có khả năng thúc đẩy một kỷ nguyên vàng mới trong việc sáng tạo nội dung có giá trị cao."
Tuy nhiên, những người ủng hộ quyền số có thể đặt ra câu hỏi: Liệu các đội khởi nghiệp AI nhỏ, các nhà nghiên cứu và cộng đồng mã nguồn mở có thể gánh vác được chi phí dữ liệu như vậy không? Liệu nghiên cứu học thuật và lưu trữ công ích, những "công cụ thu thập dữ liệu tích cực" này có gặp khó khăn và chỉ có thể truy cập vào những nguồn dữ liệu hạn chế, ít giá trị?
Trong một thực tế mà doanh thu quảng cáo giảm sút và chi phí lưu lượng tăng cao, có bao nhiêu trang web sẵn sàng mở cửa miễn phí cho các bot AI hút máu? Điều này có phải sẽ trở thành khởi đầu của việc "bị đóng kín", khiến internet mất đi tinh thần tự do và chia sẻ của nó?
Nếu toàn mạng đều mặc định chặn phí, điều này có vô tình làm tăng cường "độc quyền của các công ty lớn" không? Dù sao, các công ty lớn thường có nhiều tiền hơn.
Chế độ "Pay Per Crawl" vừa cố gắng giải quyết vấn đề nội dung AI hút máu mà không hồi báo, vừa có thể vô tình làm tăng ngưỡng đổi mới của AI, quay trở lại với vấn đề cũ về bảo vệ bản quyền và mở kiến thức.
Tất nhiên, Cloudflare chỉ mang lại cho các trang web nhiều quyền tự chủ hơn. Chủ sở hữu trang web hoàn toàn có thể chọn tiếp tục mở miễn phí cho các dự án phi lợi nhuận và công ích. Quyền lực vẫn nằm trong tay người sáng tạo. Dù sao đi nữa, họ xứng đáng nhận được "bồi thường".
Trong lời của CEO Cloudflare, mục tiêu của cuộc cách mạng này là "xây dựng một internet tốt đẹp hơn". "Chúng tôi vẫn chưa biết tất cả các câu trả lời, nhưng chúng tôi đang hợp tác với một số nhà kinh tế học và nhà khoa học máy tính hàng đầu để tìm kiếm câu trả lời."
Hiện tại, các nhà cung cấp CDN và bảo mật khác (như Akamai, Fastly, Amazon CloudFront) vẫn chưa công bố các tính năng tương tự.
Để AI robot thu thập dữ liệu không vào được｜Nguồn hình ảnh: Cloudflare
Mặc dù "Pay Per Crawl" của Cloudflare trông giống như một tính năng mới của sản phẩm CDN, nhưng theo một nghĩa nào đó:
Nó có thể trở thành tín hiệu cho sự phân nhánh của Internet.
Trong kỷ nguyên tìm kiếm, giá trị của nội dung được chuyển đổi thành doanh thu quảng cáo thông qua lượt truy cập của người dùng. Nhưng trong kỷ nguyên AI, người dùng có thể sẽ không truy cập vào trang web nữa - tất cả các câu trả lời đều được tóm tắt và tạo ra trong chatbot. Liệu có nên để các mô hình AI lớn khai thác nội dung trên mạng miễn phí, hay nên trở lại nguyên tắc "hữu nghị" trong việc thu thập dữ liệu, cho phép những người sáng tạo nhận được bù đắp xứng đáng? Bù đắp có thể là bao nhiêu?
Thí nghiệm sớm này có thể đang mở đường cho một hình thái kinh tế dữ liệu mới trong thời đại AI, bất kể thành công hay thất bại, lập trường của nó rất rõ ràng: AI không thể vô hạn làm cạn kiệt sự kiên nhẫn của người sáng tạo và biến lao động của con người thành nhiên liệu miễn phí dưới danh nghĩa "mở".
"Mạng lưới đang trải qua sự thay đổi, và mô hình kinh doanh của nó cũng sẽ thay đổi theo. Trong quá trình này, chúng ta có cơ hội học hỏi từ những điều tốt đẹp của 30 năm qua để làm cho nó tốt hơn trong tương lai."
Về việc liệu mọi thứ có thực sự trở nên tốt hơn, như chính Cloudflare đã thừa nhận:
「 Đây chỉ là sự khởi đầu.」