Musk dan Trump, dua orang di Gedung Putih ini baru-baru ini memasuki periode "perang mulut" 2.0. Mirip dengan pasangan yang saling mencintai dan membenci ini, ada juga pertikaian antara kelompok penerbit asing dan raksasa AI - di satu sisi ada penerbit besar yang ingin bekerja sama dengan perusahaan AI, di sisi lain ada penerbit yang bersumpah untuk membuat raksasa AI bangkrut.
Menurut data, setelah munculnya pencarian AI dan ChatGPT, lalu lintas situs web di seluruh dunia mengalami penurunan; di sisi lain, "crawler AI" dari raksasa AI mengabaikan protokol crawler dan terus merangsek data semua situs web dengan puluhan ribu pengambilan.
Saat ini, akhirnya ada sebuah perusahaan infrastruktur yang maju ke depan, menggandeng tangan para pencipta konten dan berkata: "Kami bisa bilang tidak kepada raksasa AI!"
Cloudflare, raksasa infrastruktur internet yang mengontrol sekitar 20% lalu lintas internet global, yang dijuluki oleh pengguna internet sebagai "Cyber Bodhisattva", meluncurkan produk dan pasar perdagangan eksperimental pada bulan Juli 2025: "Pay Per Crawl" — menetapkan aturan baru untuk crawler AI:
Dapatkan izin atau bayar.
Secara sederhana, esensi dari fitur ini adalah memberikan pembuat konten situs web sebuah opsi "saklar": mereka dapat memilih untuk mengizinkan crawler AI mengakses secara bebas, mengenakan biaya per pengambilan, atau langsung memblokir akses.
Menurut pendiri Cloudflare, "konten adalah bahan bakar yang menggerakkan mesin AI, oleh karena itu, adalah adil bagi pencipta konten untuk mendapatkan imbalan secara langsung."
Bagi perusahaan AI, jika ingin terus mengumpulkan konten dari seluruh internet untuk melatih model, tidak bisa lagi seperti sebelumnya "makan gratis". Namun, bukan berarti tidak ada keuntungan, karena dengan membayar sesuai harga yang ditetapkan, dapat menghindari masalah sengketa hak cipta.
Apakah langkah "perlindungan serangga" Cloudflare kali ini dapat meredakan serangan liar dari crawler AI? Yang lebih penting, dapatkah perusahaan ini memanfaatkan posisi uniknya untuk membangun model distribusi dan monetisasi konten di era AI yang baru?
01
"Makan Siang Gratis" dari Raksasa AI
Selama beberapa dekade terakhir, sebagian besar halaman web secara default adalah publik dan "dapat dijelajahi". Mesin pencari seperti Google dan Bing mendatangkan lalu lintas ke situs web, dan dengan lalu lintas tersebut, situs web dapat memonetisasi melalui iklan atau penjualan langganan — ini adalah kontrak tersembunyi dari era pencarian.
Di era AI, lalu lintas pencarian tradisional turun drastis, semakin menghitungnya semakin merugi.
Perusahaan AI menganggap konten di seluruh internet sebagai bahan bakar pelatihan, tetapi hampir tidak memberikan imbalan kepada sebagian besar pencipta. Ketika pengguna mengajukan pertanyaan langsung di chatbot AI, jawabannya sering kali berasal dari konten yang telah dirangkum, bukan dari puluhan tautan biru, yang tidak akan membawa lebih banyak lalu lintas ke situs web.
Bahkan raksasa pencarian seperti Google pun sedang berubah, sebelumnya mereka menyediakan daftar tautan situs web, kini mereka meluncurkan 'Ringkasan Kecerdasan Buatan' di halaman pencarian mereka. Menurut laporan mereka, 75% pengguna yang melakukan pencarian tidak perlu mengklik tautan apa pun untuk mendapatkan jawaban.
Data terbaru Cloudflare menunjukkan pada Juli 2025: Spider Google membawa 1 klik ke situs web sekitar setiap 6 hingga 7 pengambilan, sementara OpenAI hanya mendapatkan 1 redirect dari 1500 pengambilan, rasio Anthropic bahkan lebih mencolok, mencapai 1 dari 73300.
Rasio klik yang dihasilkan oleh crawler AI dari berbagai perusahaan setiap kali mengakses situs web｜Sumber gambar: Cloudflare
Ini berarti bahwa model tradisional "konten untuk lalu lintas" telah menjadi tidak efektif. Dibandingkan dengan mesin pencari tradisional, raksasa AI mengonsumsi banyak konten situs web, namun tidak memberikan "lalu lintas", ketidakseimbangan ini membuat beberapa produsen konten semakin sulit untuk bertahan.
"Dengan adanya OpenAI, kesulitan untuk mendapatkan lalu lintas situs web meningkat 750 kali lipat dibandingkan dengan era Google, dan dengan adanya Anthropic, kesulitannya bahkan mencapai 30.000 kali lipat. Alasannya sangat sederhana: kita semakin jarang mengonsumsi konten asli, tetapi lebih banyak mengonsumsi produk turunan mereka." CEO Cloudflare Matthew Prince menyatakan dalam sebuah blog, "Ini bukanlah transaksi yang adil."
Perusahaan AI juga tidak tanpa biaya dalam mengumpulkan data, selama dua tahun terakhir raksasa AI terus dituduh "mencuri konten" untuk melatih model besar, memicu gelombang gugatan hak cipta di seluruh dunia, terutama dari lembaga berita seperti New York Times dan OpenAI yang terus berperkara.
Robot crawler AI aktif dari perusahaan besar｜Sumber gambar: Cloudflare
Oleh karena itu, Cloudflare meluncurkan "Pay Per Crawl", menciptakan pasar "pembayaran per crawling" untuk menyelesaikan masalah ini.
Perusahaan tersebut merancang sebuah sistem izin dan pembayaran, di mana situs web dapat memilih di latar belakang untuk "mengizinkan, memblokir, atau mengenakan biaya" terhadap crawler AI. Jika crawler AI ingin mengakses konten situs web tersebut, mereka harus mendaftar, memverifikasi identitas, dan menyelesaikan pembayaran setiap kali mengunjungi.
Jika berjalan lancar, model ini dapat mengubah konten jaringan dari "monetisasi iklan" menjadi "monetisasi lisensi konten", membuka sumber pendapatan baru yang sepenuhnya baru. Baik media besar maupun blog kecil yang kurang dikenal dapat memiliki kekuatan tawar di era AI, dan dibayar oleh AI untuk digunakan.
Untuk menekankan maknanya, CEO Cloudflare juga menyebut hari peluncuran "Pay Per Crawl" sebagai:
"Hari Kemerdekaan Konten".
02
Bagaimana cara menarik "biaya tol" AI?
Tentu, imajinasi itu indah, tetapi bagaimana teknologinya bisa diterapkan?
Perusahaan Cloudflare mulai dikenal karena menyediakan layanan CDN, perlindungan DDoS, DNS, dan keamanan zero trust. Mereka telah mengerahkan node di lebih dari 300 kota di seluruh dunia, mendukung sekitar 20% lalu lintas web, yang memudahkan mereka berfungsi sebagai "perantara".
"Pay Per Crawl" dibangun di lapisan tengah jaringan CDN globalnya: ia dapat mengenali dan memproses crawler AI sebelum permintaan akses sampai ke server sumber. Pemilik situs dapat mengatur tiga mode di backend Cloudflare: izinkan, bayar, blok.
Administrator dapat mengatur izin, biaya, atau memblokir di backend | Sumber gambar: Cloudflare
Semua situs yang baru bergabung dengan Cloudflare secara default memblokir crawler AI, kecuali jika pemilik situs secara aktif mengizinkannya. Hanya perusahaan AI yang menjalin kemitraan dengan Cloudflare yang dapat berpartisipasi dalam mekanisme pembayaran, jika tidak, akan diblokir.
Jika crawler AI mengajukan permintaan ke URL berbayar tanpa membayar, Cloudflare akan mengembalikan kode status HTTP 402 Payment Required—sebuah kode status yang hampir tidak pernah digunakan di masa lalu, yang dikhususkan untuk "pembayaran online". Crawler AI dapat menyertakan informasi pembayaran dalam permintaan untuk menunjukkan persetujuan untuk membayar harga yang ditentukan, dan setelah harga cocok, akan dilepaskan dengan pengembalian 200 OK dan secara otomatis menyelesaikan pembayaran.
Cloudflare itu sendiri adalah "kasir" untuk transaksi ini, bertanggung jawab untuk mengagregasi tagihan dan mendistribusikan pendapatan.
Cloudflare akan mengembalikan status kode HTTP 402 Payment Required｜Sumber gambar: Cloudflare
Crawler dapat menyertakan informasi pembayaran dalam permintaan｜Sumber gambar: Cloudflare
HTTP 200 OK respons konfirmasi biaya｜Sumber gambar: Cloudflare
Lebih penting lagi, ini tidak dapat dilewati hanya dengan penipuan User-Agent yang sederhana. Cloudflare mengharuskan perusahaan AI untuk mendaftar kunci dan menjamin identitas dengan tanda tangan digital. Ini juga untuk mencegah "crawler tiruan" berpura-pura sebagai pihak yang patuh untuk menghindari pembayaran.
Dulu, robots.txt adalah file teks biasa yang diletakkan di direktori root situs web, digunakan untuk memberi tahu crawler mesin pencari halaman mana yang dapat diambil dan mana yang tidak, tetapi itu hanya «saran sopan» dari situs web, banyak crawler AI sama sekali tidak mengindahkannya. Solusi Cloudflare mengubah hal ini, mengubah «kendala lunak» yang ada dari robots.txt menjadi «pintu pengaman keras».
Namun, menurut Cloudflare, saat ini hanya sekitar 37% dari 10000 nama domain teratas yang memiliki file robots.txt.
Atur level untuk AI crawler｜Sumber gambar: Cloudflare
Jika ingin berpartisipasi dalam pasar pembayaran perayapan Cloudflare, pihak yang merayap dan pihak yang dirayapi harus membuka akun Cloudflare. Hingga saat ini, "Bayar Per Perayapan" masih dalam tahap pengujian internal, hanya sebagian penerbit besar yang terlibat, seperti BuzzFeed, The Atlantic, dan Fortune, Cloudflare masih terus secara terbuka mencari kreator konten dan perayap yang berminat.
"Kami memperkirakan model pembayaran per penggunaan akan mengalami perkembangan yang signifikan." kata Cloudflare.
Meskipun saat ini masih berada di tahap awal, perusahaan memiliki banyak ide untuk masa depan. Misalnya, penerbit atau lembaga lain dapat mengenakan biaya yang berbeda untuk berbagai jenis konten, atau melakukan penetapan harga dinamis berdasarkan jumlah pengguna aplikasi AI, atau memperkenalkan strategi penetapan harga yang lebih rinci berdasarkan pelatihan, inferensi, pencarian, dan bidang lainnya.
Mereka juga percaya bahwa potensi sebenarnya dari crawler bayar per penggunaan mungkin akan muncul di dunia agen cerdas.
"Bagaimana jika dinding bayar agen pintar dapat beroperasi sepenuhnya secara programatik? Bayangkan, Anda dapat meminta asisten penelitian mendalam Anda untuk membantu Anda merangkum penelitian kanker terbaru, ringkasan hukum, atau membantu Anda menemukan restoran terbaik—kemudian memberikan anggaran kepada agen pintar ini untuk mendapatkan konten yang paling berguna dan relevan."
"Solusi pertama yang didasarkan pada kode respons HTTP 402 akan membuka masa depan di mana agen cerdas dapat secara programatik bernegosiasi untuk mengakses sumber daya digital," kata Cloudflare.
03
Persimpangan Internet
Dari segi ekonomi, ini mungkin merupakan awal dari "renegosiasi pembagian pendapatan" antara AI dan para pembuat konten.
Saat ini, hanya media besar yang dapat berbicara tentang lisensi dengan perusahaan AI (misalnya, laporan New York Times tentang OpenAI baru bisa mencapai penyelesaian setelah itu), sebagian besar situs web kecil dan menengah, forum, bahkan penulis individu "diam-diam diambil", tanpa kemampuan untuk melawan, atau bisa dibilang kesadaran. Solusi Cloudflare, pada kenyataannya, dapat memperluas kemampuan tawar ini ke situs web yang lebih luas.
Menurut tim Cloudflare, mereka telah melakukan ratusan percakapan dengan lembaga berita, penerbit, dan platform media sosial besar, dan mereka sepakat "ingin memungkinkan crawler AI mengakses konten mereka, tetapi berharap untuk mendapatkan imbalan."
Bagi para pendukung, model "Pay Per Crawl" secara konseptual sangat "adil": kreator mendapatkan pendapatan, perusahaan AI juga terhindar dari risiko hukum, dan dalam jangka panjang dapat mendorong seluruh industri menuju lisensi konten yang lebih patuh.
Sumber gambar: Cloudflare
Tentu saja, perusahaan AI mungkin tidak senang, data internet tidak lagi gratis, untuk mendapatkan konten baru, harus mengeluarkan uang, ini berarti faktor biaya di luar daya komputasi.
Namun di sisi lain, ini mungkin juga akan menghambat pengambilan data secara sembarangan, dan memaksa pengembang model AI untuk lebih selektif dalam pemilihan data—misalnya dengan membeli konten bernilai tinggi secara khusus, alih-alih langsung memasukkan semua konten situs web ke dalam model.
Matthew Prince menyatakan, "Mesin AI seperti sepotong keju Swiss, konten orisinal baru yang benar-benar dapat mengisi lubang-lubang keju ini, seperti konten yang repetitif dan bernilai rendah yang kini menguasai sebagian besar ruang di internet, jauh lebih berharga."
Menurutnya, lalu lintas selama ini tidak dapat mengukur nilai konten secara akurat, "jika kita dapat mulai memberi peringkat dan mengevaluasi konten, bukan berdasarkan seberapa banyak lalu lintas yang dihasilkannya, tetapi berdasarkan seberapa besar kontribusinya terhadap pengetahuan (dari seberapa banyak lubang yang diisi dalam 'keju Swiss' mesin AI) - kita tidak hanya dapat membantu mesin AI berkembang lebih cepat, tetapi juga berpotensi memfasilitasi era baru penciptaan konten bernilai tinggi."
Namun, para advokat hak digital mungkin akan bertanya: apakah tim startup AI kecil, peneliti, dan komunitas sumber terbuka dapat menanggung biaya data semacam itu? Apakah penelitian akademis dan pengarsipan publik yang disebut "crawler yang baik" akan terhambat, hanya bisa mengakses sumber data yang terbatas dan bernilai rendah?
Dalam kenyataan di mana pendapatan iklan menurun dan biaya lalu lintas meningkat, berapa banyak situs web yang bersedia membuka akses secara gratis untuk crawler AI? Apakah ini akan menjadi awal dari "penutupan", membuat internet kehilangan semangat kebebasan dan berbagi?
Jika seluruh jaringan secara default memblokir biaya, apakah itu secara tidak sengaja akan memperburuk "monopoli perusahaan besar"? Lagipula, perusahaan besar memiliki lebih banyak uang.
Mode "Pay Per Crawl" berusaha untuk menyelesaikan masalah konten yang dieksploitasi oleh AI tanpa memberikan imbalan, di sisi lain, juga mungkin secara tidak sengaja meningkatkan ambang batas inovasi AI, kembali kepada isu lama perlindungan hak cipta dan keterbukaan pengetahuan.
Tentu saja, Cloudflare hanya memberikan lebih banyak otonomi kepada situs web. Pemilik situs sepenuhnya dapat memilih untuk terus membuka akses gratis untuk proyek-proyek amal dan non-profit. Kekuasaan tetap berada di tangan pembuat. Bagaimanapun, mereka layak mendapatkan "kompensasi".
Dalam kata-kata CEO Cloudflare, tujuan dari perubahan ini adalah "membangun internet yang lebih baik". "Kami belum tahu semua jawaban, tetapi kami sedang bekerja sama dengan beberapa ekonom dan ilmuwan komputer terkemuka untuk mencari jawaban."
Saat ini, penyedia CDN dan keamanan lainnya (seperti Akamai, Fastly, Amazon CloudFront) belum mengumumkan fitur serupa.
Menjaga robot crawler AI di luar pintu｜Sumber gambar: Cloudflare
Meskipun "Pay Per Crawl" dari Cloudflare tampaknya hanya fitur baru dari produk CDN, tetapi dalam arti tertentu:
Ini mungkin menjadi sinyal bahwa internet telah mencapai persimpangan.
Di era pencarian, nilai konten diubah menjadi pendapatan iklan melalui akses pengguna. Namun, di era AI, pengguna mungkin sama sekali tidak lagi mengunjungi situs web—semua jawaban dirangkum dan dihasilkan dalam chatbot. Apakah kita akan terus membiarkan model besar AI menggali konten web secara gratis, atau kembali ke prinsip "timbal balik" dalam pengambilan data, sehingga pencipta mendapatkan kompensasi yang layak? Seberapa banyak kompensasi yang bisa didapat?
Eksperimen awal ini mungkin membuka jalan menuju bentuk ekonomi data baru di era AI, terlepas dari keberhasilan atau kegagalannya, posisinya sangat jelas: AI tidak dapat terus-menerus menguras kesabaran para pencipta, dan dengan nama "terbuka" mengubah tenaga kerja manusia menjadi bahan bakar gratis.
"Jaringan sedang mengalami perubahan, dan model bisnisnya juga akan berubah. Dalam proses ini, kita memiliki kesempatan untuk belajar dari hal-hal baik selama 30 tahun terakhir, agar menjadi lebih baik di masa depan."
Mengenai apakah keadaan benar-benar bisa membaik, seperti yang diakui oleh Cloudflare sendiri:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
"Cyber Bodhisattva" menunjukkan kekuatannya, era "makan siang gratis" raksasa AI telah berakhir.
Musk dan Trump, dua orang di Gedung Putih ini baru-baru ini memasuki periode "perang mulut" 2.0. Mirip dengan pasangan yang saling mencintai dan membenci ini, ada juga pertikaian antara kelompok penerbit asing dan raksasa AI - di satu sisi ada penerbit besar yang ingin bekerja sama dengan perusahaan AI, di sisi lain ada penerbit yang bersumpah untuk membuat raksasa AI bangkrut.
Menurut data, setelah munculnya pencarian AI dan ChatGPT, lalu lintas situs web di seluruh dunia mengalami penurunan; di sisi lain, "crawler AI" dari raksasa AI mengabaikan protokol crawler dan terus merangsek data semua situs web dengan puluhan ribu pengambilan.
Saat ini, akhirnya ada sebuah perusahaan infrastruktur yang maju ke depan, menggandeng tangan para pencipta konten dan berkata: "Kami bisa bilang tidak kepada raksasa AI!"
Cloudflare, raksasa infrastruktur internet yang mengontrol sekitar 20% lalu lintas internet global, yang dijuluki oleh pengguna internet sebagai "Cyber Bodhisattva", meluncurkan produk dan pasar perdagangan eksperimental pada bulan Juli 2025: "Pay Per Crawl" — menetapkan aturan baru untuk crawler AI:
Dapatkan izin atau bayar.
Secara sederhana, esensi dari fitur ini adalah memberikan pembuat konten situs web sebuah opsi "saklar": mereka dapat memilih untuk mengizinkan crawler AI mengakses secara bebas, mengenakan biaya per pengambilan, atau langsung memblokir akses.
Menurut pendiri Cloudflare, "konten adalah bahan bakar yang menggerakkan mesin AI, oleh karena itu, adalah adil bagi pencipta konten untuk mendapatkan imbalan secara langsung."
Bagi perusahaan AI, jika ingin terus mengumpulkan konten dari seluruh internet untuk melatih model, tidak bisa lagi seperti sebelumnya "makan gratis". Namun, bukan berarti tidak ada keuntungan, karena dengan membayar sesuai harga yang ditetapkan, dapat menghindari masalah sengketa hak cipta.
Apakah langkah "perlindungan serangga" Cloudflare kali ini dapat meredakan serangan liar dari crawler AI? Yang lebih penting, dapatkah perusahaan ini memanfaatkan posisi uniknya untuk membangun model distribusi dan monetisasi konten di era AI yang baru?
01
"Makan Siang Gratis" dari Raksasa AI
Selama beberapa dekade terakhir, sebagian besar halaman web secara default adalah publik dan "dapat dijelajahi". Mesin pencari seperti Google dan Bing mendatangkan lalu lintas ke situs web, dan dengan lalu lintas tersebut, situs web dapat memonetisasi melalui iklan atau penjualan langganan — ini adalah kontrak tersembunyi dari era pencarian.
Di era AI, lalu lintas pencarian tradisional turun drastis, semakin menghitungnya semakin merugi.
Perusahaan AI menganggap konten di seluruh internet sebagai bahan bakar pelatihan, tetapi hampir tidak memberikan imbalan kepada sebagian besar pencipta. Ketika pengguna mengajukan pertanyaan langsung di chatbot AI, jawabannya sering kali berasal dari konten yang telah dirangkum, bukan dari puluhan tautan biru, yang tidak akan membawa lebih banyak lalu lintas ke situs web.
Bahkan raksasa pencarian seperti Google pun sedang berubah, sebelumnya mereka menyediakan daftar tautan situs web, kini mereka meluncurkan 'Ringkasan Kecerdasan Buatan' di halaman pencarian mereka. Menurut laporan mereka, 75% pengguna yang melakukan pencarian tidak perlu mengklik tautan apa pun untuk mendapatkan jawaban.
Data terbaru Cloudflare menunjukkan pada Juli 2025: Spider Google membawa 1 klik ke situs web sekitar setiap 6 hingga 7 pengambilan, sementara OpenAI hanya mendapatkan 1 redirect dari 1500 pengambilan, rasio Anthropic bahkan lebih mencolok, mencapai 1 dari 73300.
Rasio klik yang dihasilkan oleh crawler AI dari berbagai perusahaan setiap kali mengakses situs web｜Sumber gambar: Cloudflare
Ini berarti bahwa model tradisional "konten untuk lalu lintas" telah menjadi tidak efektif. Dibandingkan dengan mesin pencari tradisional, raksasa AI mengonsumsi banyak konten situs web, namun tidak memberikan "lalu lintas", ketidakseimbangan ini membuat beberapa produsen konten semakin sulit untuk bertahan.
"Dengan adanya OpenAI, kesulitan untuk mendapatkan lalu lintas situs web meningkat 750 kali lipat dibandingkan dengan era Google, dan dengan adanya Anthropic, kesulitannya bahkan mencapai 30.000 kali lipat. Alasannya sangat sederhana: kita semakin jarang mengonsumsi konten asli, tetapi lebih banyak mengonsumsi produk turunan mereka." CEO Cloudflare Matthew Prince menyatakan dalam sebuah blog, "Ini bukanlah transaksi yang adil."
Perusahaan AI juga tidak tanpa biaya dalam mengumpulkan data, selama dua tahun terakhir raksasa AI terus dituduh "mencuri konten" untuk melatih model besar, memicu gelombang gugatan hak cipta di seluruh dunia, terutama dari lembaga berita seperti New York Times dan OpenAI yang terus berperkara.
Robot crawler AI aktif dari perusahaan besar｜Sumber gambar: Cloudflare
Oleh karena itu, Cloudflare meluncurkan "Pay Per Crawl", menciptakan pasar "pembayaran per crawling" untuk menyelesaikan masalah ini.
Perusahaan tersebut merancang sebuah sistem izin dan pembayaran, di mana situs web dapat memilih di latar belakang untuk "mengizinkan, memblokir, atau mengenakan biaya" terhadap crawler AI. Jika crawler AI ingin mengakses konten situs web tersebut, mereka harus mendaftar, memverifikasi identitas, dan menyelesaikan pembayaran setiap kali mengunjungi.
Jika berjalan lancar, model ini dapat mengubah konten jaringan dari "monetisasi iklan" menjadi "monetisasi lisensi konten", membuka sumber pendapatan baru yang sepenuhnya baru. Baik media besar maupun blog kecil yang kurang dikenal dapat memiliki kekuatan tawar di era AI, dan dibayar oleh AI untuk digunakan.
Untuk menekankan maknanya, CEO Cloudflare juga menyebut hari peluncuran "Pay Per Crawl" sebagai:
"Hari Kemerdekaan Konten".
02
Bagaimana cara menarik "biaya tol" AI?
Tentu, imajinasi itu indah, tetapi bagaimana teknologinya bisa diterapkan?
Perusahaan Cloudflare mulai dikenal karena menyediakan layanan CDN, perlindungan DDoS, DNS, dan keamanan zero trust. Mereka telah mengerahkan node di lebih dari 300 kota di seluruh dunia, mendukung sekitar 20% lalu lintas web, yang memudahkan mereka berfungsi sebagai "perantara".
"Pay Per Crawl" dibangun di lapisan tengah jaringan CDN globalnya: ia dapat mengenali dan memproses crawler AI sebelum permintaan akses sampai ke server sumber. Pemilik situs dapat mengatur tiga mode di backend Cloudflare: izinkan, bayar, blok.
Administrator dapat mengatur izin, biaya, atau memblokir di backend | Sumber gambar: Cloudflare
Semua situs yang baru bergabung dengan Cloudflare secara default memblokir crawler AI, kecuali jika pemilik situs secara aktif mengizinkannya. Hanya perusahaan AI yang menjalin kemitraan dengan Cloudflare yang dapat berpartisipasi dalam mekanisme pembayaran, jika tidak, akan diblokir.
Jika crawler AI mengajukan permintaan ke URL berbayar tanpa membayar, Cloudflare akan mengembalikan kode status HTTP 402 Payment Required—sebuah kode status yang hampir tidak pernah digunakan di masa lalu, yang dikhususkan untuk "pembayaran online". Crawler AI dapat menyertakan informasi pembayaran dalam permintaan untuk menunjukkan persetujuan untuk membayar harga yang ditentukan, dan setelah harga cocok, akan dilepaskan dengan pengembalian 200 OK dan secara otomatis menyelesaikan pembayaran.
Cloudflare itu sendiri adalah "kasir" untuk transaksi ini, bertanggung jawab untuk mengagregasi tagihan dan mendistribusikan pendapatan.
Cloudflare akan mengembalikan status kode HTTP 402 Payment Required｜Sumber gambar: Cloudflare
Crawler dapat menyertakan informasi pembayaran dalam permintaan｜Sumber gambar: Cloudflare
HTTP 200 OK respons konfirmasi biaya｜Sumber gambar: Cloudflare
Lebih penting lagi, ini tidak dapat dilewati hanya dengan penipuan User-Agent yang sederhana. Cloudflare mengharuskan perusahaan AI untuk mendaftar kunci dan menjamin identitas dengan tanda tangan digital. Ini juga untuk mencegah "crawler tiruan" berpura-pura sebagai pihak yang patuh untuk menghindari pembayaran.
Dulu, robots.txt adalah file teks biasa yang diletakkan di direktori root situs web, digunakan untuk memberi tahu crawler mesin pencari halaman mana yang dapat diambil dan mana yang tidak, tetapi itu hanya «saran sopan» dari situs web, banyak crawler AI sama sekali tidak mengindahkannya. Solusi Cloudflare mengubah hal ini, mengubah «kendala lunak» yang ada dari robots.txt menjadi «pintu pengaman keras».
Namun, menurut Cloudflare, saat ini hanya sekitar 37% dari 10000 nama domain teratas yang memiliki file robots.txt.
Atur level untuk AI crawler｜Sumber gambar: Cloudflare
Jika ingin berpartisipasi dalam pasar pembayaran perayapan Cloudflare, pihak yang merayap dan pihak yang dirayapi harus membuka akun Cloudflare. Hingga saat ini, "Bayar Per Perayapan" masih dalam tahap pengujian internal, hanya sebagian penerbit besar yang terlibat, seperti BuzzFeed, The Atlantic, dan Fortune, Cloudflare masih terus secara terbuka mencari kreator konten dan perayap yang berminat.
"Kami memperkirakan model pembayaran per penggunaan akan mengalami perkembangan yang signifikan." kata Cloudflare.
Meskipun saat ini masih berada di tahap awal, perusahaan memiliki banyak ide untuk masa depan. Misalnya, penerbit atau lembaga lain dapat mengenakan biaya yang berbeda untuk berbagai jenis konten, atau melakukan penetapan harga dinamis berdasarkan jumlah pengguna aplikasi AI, atau memperkenalkan strategi penetapan harga yang lebih rinci berdasarkan pelatihan, inferensi, pencarian, dan bidang lainnya.
Mereka juga percaya bahwa potensi sebenarnya dari crawler bayar per penggunaan mungkin akan muncul di dunia agen cerdas.
"Bagaimana jika dinding bayar agen pintar dapat beroperasi sepenuhnya secara programatik? Bayangkan, Anda dapat meminta asisten penelitian mendalam Anda untuk membantu Anda merangkum penelitian kanker terbaru, ringkasan hukum, atau membantu Anda menemukan restoran terbaik—kemudian memberikan anggaran kepada agen pintar ini untuk mendapatkan konten yang paling berguna dan relevan."
"Solusi pertama yang didasarkan pada kode respons HTTP 402 akan membuka masa depan di mana agen cerdas dapat secara programatik bernegosiasi untuk mengakses sumber daya digital," kata Cloudflare.
03
Persimpangan Internet
Dari segi ekonomi, ini mungkin merupakan awal dari "renegosiasi pembagian pendapatan" antara AI dan para pembuat konten.
Saat ini, hanya media besar yang dapat berbicara tentang lisensi dengan perusahaan AI (misalnya, laporan New York Times tentang OpenAI baru bisa mencapai penyelesaian setelah itu), sebagian besar situs web kecil dan menengah, forum, bahkan penulis individu "diam-diam diambil", tanpa kemampuan untuk melawan, atau bisa dibilang kesadaran. Solusi Cloudflare, pada kenyataannya, dapat memperluas kemampuan tawar ini ke situs web yang lebih luas.
Menurut tim Cloudflare, mereka telah melakukan ratusan percakapan dengan lembaga berita, penerbit, dan platform media sosial besar, dan mereka sepakat "ingin memungkinkan crawler AI mengakses konten mereka, tetapi berharap untuk mendapatkan imbalan."
Bagi para pendukung, model "Pay Per Crawl" secara konseptual sangat "adil": kreator mendapatkan pendapatan, perusahaan AI juga terhindar dari risiko hukum, dan dalam jangka panjang dapat mendorong seluruh industri menuju lisensi konten yang lebih patuh.
Sumber gambar: Cloudflare
Tentu saja, perusahaan AI mungkin tidak senang, data internet tidak lagi gratis, untuk mendapatkan konten baru, harus mengeluarkan uang, ini berarti faktor biaya di luar daya komputasi.
Namun di sisi lain, ini mungkin juga akan menghambat pengambilan data secara sembarangan, dan memaksa pengembang model AI untuk lebih selektif dalam pemilihan data—misalnya dengan membeli konten bernilai tinggi secara khusus, alih-alih langsung memasukkan semua konten situs web ke dalam model.
Matthew Prince menyatakan, "Mesin AI seperti sepotong keju Swiss, konten orisinal baru yang benar-benar dapat mengisi lubang-lubang keju ini, seperti konten yang repetitif dan bernilai rendah yang kini menguasai sebagian besar ruang di internet, jauh lebih berharga."
Menurutnya, lalu lintas selama ini tidak dapat mengukur nilai konten secara akurat, "jika kita dapat mulai memberi peringkat dan mengevaluasi konten, bukan berdasarkan seberapa banyak lalu lintas yang dihasilkannya, tetapi berdasarkan seberapa besar kontribusinya terhadap pengetahuan (dari seberapa banyak lubang yang diisi dalam 'keju Swiss' mesin AI) - kita tidak hanya dapat membantu mesin AI berkembang lebih cepat, tetapi juga berpotensi memfasilitasi era baru penciptaan konten bernilai tinggi."
Namun, para advokat hak digital mungkin akan bertanya: apakah tim startup AI kecil, peneliti, dan komunitas sumber terbuka dapat menanggung biaya data semacam itu? Apakah penelitian akademis dan pengarsipan publik yang disebut "crawler yang baik" akan terhambat, hanya bisa mengakses sumber data yang terbatas dan bernilai rendah?
Dalam kenyataan di mana pendapatan iklan menurun dan biaya lalu lintas meningkat, berapa banyak situs web yang bersedia membuka akses secara gratis untuk crawler AI? Apakah ini akan menjadi awal dari "penutupan", membuat internet kehilangan semangat kebebasan dan berbagi?
Jika seluruh jaringan secara default memblokir biaya, apakah itu secara tidak sengaja akan memperburuk "monopoli perusahaan besar"? Lagipula, perusahaan besar memiliki lebih banyak uang.
Mode "Pay Per Crawl" berusaha untuk menyelesaikan masalah konten yang dieksploitasi oleh AI tanpa memberikan imbalan, di sisi lain, juga mungkin secara tidak sengaja meningkatkan ambang batas inovasi AI, kembali kepada isu lama perlindungan hak cipta dan keterbukaan pengetahuan.
Tentu saja, Cloudflare hanya memberikan lebih banyak otonomi kepada situs web. Pemilik situs sepenuhnya dapat memilih untuk terus membuka akses gratis untuk proyek-proyek amal dan non-profit. Kekuasaan tetap berada di tangan pembuat. Bagaimanapun, mereka layak mendapatkan "kompensasi".
Dalam kata-kata CEO Cloudflare, tujuan dari perubahan ini adalah "membangun internet yang lebih baik". "Kami belum tahu semua jawaban, tetapi kami sedang bekerja sama dengan beberapa ekonom dan ilmuwan komputer terkemuka untuk mencari jawaban."
Saat ini, penyedia CDN dan keamanan lainnya (seperti Akamai, Fastly, Amazon CloudFront) belum mengumumkan fitur serupa.
Menjaga robot crawler AI di luar pintu｜Sumber gambar: Cloudflare
Meskipun "Pay Per Crawl" dari Cloudflare tampaknya hanya fitur baru dari produk CDN, tetapi dalam arti tertentu:
Ini mungkin menjadi sinyal bahwa internet telah mencapai persimpangan.
Di era pencarian, nilai konten diubah menjadi pendapatan iklan melalui akses pengguna. Namun, di era AI, pengguna mungkin sama sekali tidak lagi mengunjungi situs web—semua jawaban dirangkum dan dihasilkan dalam chatbot. Apakah kita akan terus membiarkan model besar AI menggali konten web secara gratis, atau kembali ke prinsip "timbal balik" dalam pengambilan data, sehingga pencipta mendapatkan kompensasi yang layak? Seberapa banyak kompensasi yang bisa didapat?
Eksperimen awal ini mungkin membuka jalan menuju bentuk ekonomi data baru di era AI, terlepas dari keberhasilan atau kegagalannya, posisinya sangat jelas: AI tidak dapat terus-menerus menguras kesabaran para pencipta, dan dengan nama "terbuka" mengubah tenaga kerja manusia menjadi bahan bakar gratis.
"Jaringan sedang mengalami perubahan, dan model bisnisnya juga akan berubah. Dalam proses ini, kita memiliki kesempatan untuk belajar dari hal-hal baik selama 30 tahun terakhir, agar menjadi lebih baik di masa depan."
Mengenai apakah keadaan benar-benar bisa membaik, seperti yang diakui oleh Cloudflare sendiri:
"Ini baru permulaan."