Musk ve Trump, Beyaz Saray'daki bu ikili son zamanlarda "ağız dövüşü"ne 2.0 dönemine girdi. Bu iki neşeli düşmanla benzer şekilde, yabancı yayıncı grupları ile AI devleri arasındaki aşk-nefret ilişkisi var - bir yandan büyük yayıncılar AI şirketleriyle işbirliği yapmak istiyor, diğer yandan ise yayıncılar AI devlerini iflas ettirmeye yemin ediyor.
Verilere göre, AI arama ve ChatGPT'nin ortaya çıkmasından sonra küresel web trafiği düşüş göstermektedir; diğer yandan, AI devlerinin "AI tarayıcıları" tarayıcı protokollerini dikkate almadan, on binlerce kez veri çekerek tüm web sitelerinin verilerini sürekli olarak aşındırmaktadır.
Bu noktada, nihayet bir altyapı şirketi ortaya çıktı ve içerik üreticisinin elini tutarak şöyle dedi: "AI devlerine hayır diyebiliriz!"
Cloudflare, internet altyapı devi olan ve dünya genelinde yaklaşık %20 çevrimiçi trafiği kontrol eden bu şirket, internet kullanıcıları tarafından "Siber Bodhisattva" olarak adlandırılmaktadır. 2025 yılının Temmuz ayında deneysel bir ürün ve ticaret pazarı olan "Pay Per Crawl"'ı başlattı - AI tarayıcıları için yeni kurallar belirledi:
Ya izin al ya da ödeme yap.
Kısacası, bu özelliğin özü, web içeriği oluşturucularına bir seçenek "açma kapama" sunmaktır: AI tarayıcılarının serbestçe erişmesine izin verme, her tarama için ücret alma veya doğrudan erişimi engelleme seçeneği.
Cloudflare kurucusunun belirttiğine göre, "içerik AI motorunu harekete geçiren yakıttır, bu nedenle içerik oluşturucuların doğrudan ödeme alması adildir."
AI şirketleri için, tüm internet içeriğini model eğitimi için toplamaya devam etmek istediklerinde, artık eskisi gibi "bedava ziyafet" yapamazlar. Ama bunun da avantajları yok değil; çünkü şeffaf fiyatlandırma ile ödeme yapmak, telif hakkı tartışmalarını önleyebilir.
Cloudflare'ın bu seferki "böcek önleme" önlemi, AI botlarının keyfi saldırılarını hafifletebilir mi? Daha da önemlisi, bu şirket kendi benzersiz konumunu kullanarak tamamen yeni bir AI çağı içerik dağıtım ve para kazanma modeli oluşturabilir mi?
01
AI devlerinin "ücretsiz öğle yemeği"
Son birkaç on yılda, çoğu web sayfası varsayılan olarak halka açık "tarayıcı" olarak ayarlandı. Google, Bing gibi arama motorları web sitelerine trafik sağladı, trafik elde edildiğinde, web siteleri reklamlar veya abonelik satışları ile gelir elde etti - bu, arama çağının gizli sözleşmesidir.
AI çağında, geleneksel arama trafiği hızla düştü, bu hesap ne kadar hesaplanırsa o kadar zarar ediyor.
AI şirketleri, tüm internet içeriğini eğitim yakıtı olarak kullanıyor, ancak çoğu içerik oluşturucusuna neredeyse hiç geri ödeme yapmıyorlar. Kullanıcılar AI sohbet robotuna doğrudan soru sorduğunda, cevaplar genellikle özetlenmiş içerikten geliyor ve onlarca mavi bağlantıdan değil, bu da web sitelerine daha fazla trafik getirmiyor.
Hatta Google gibi arama devleri bile değişiyor; önceden web sitesi bağlantı listeleri sunarlardı, şimdi arama sayfasında "yapay zeka özetleri" sunuyorlar. Raporlarına göre, kullanıcıların %75'i herhangi bir bağlantıya tıklamadan cevap alıyor.
Cloudflare'ın 2025 Temmuz'daki en son verileri: Google'ın tarayıcıları, web sitelerine yaklaşık her 6-7 taramada 1 tıklama getirirken, OpenAI 1500 taramada 1 yönlendirme alıyor, Anthropic'in oranı ise daha da abartılı, 73300 taramada 1 yönlendirme.
Büyük şirketlerin AI tarayıcıları her seferinde web sitelerine getirdiği tıklama oranı｜Görsel kaynak: Cloudflare
Bu, geleneksel "içerik değişimi için trafik" modelinin geçersiz hale geldiği anlamına geliyor. Geleneksel arama motorlarına kıyasla, AI devleri büyük miktarda site içeriğini tüketiyor, ancak "trafik yönlendirmiyor", bu dengesizlik bazı içerik üreticilerini giderek daha zor bir duruma sokuyor.
"OpenAI ile birlikte, web sitesi trafiği elde etme zorluğu, Google dönemine göre 750 kat daha yüksek, Anthropic ile birlikte ise bu zorluk 30,000 katına çıkıyor. Bunun nedeni çok basit: Artık orijinal içerikleri tüketmek yerine, onların türevlerini tüketiyoruz." Cloudflare CEO'su Matthew Prince, bir blog yazısında "Bu adil bir ticaret değil" dedi.
AI şirketlerinin veri toplamasının da bir bedeli var, bu iki yılda AI devleri sürekli olarak "içerik çalmakla" suçlandı ve bu durum dünya çapında bir telif hakkı davası dalgasını tetikledi, özellikle New York Times gibi haber kuruluşları ile OpenAI arasında sürekli davalar var.
Aktif büyük şirket AI tarayıcı robotu｜Görüntü kaynağı: Cloudflare
Bu nedenle, Cloudflare "Pay Per Crawl" ı piyasaya sürdü ve "başına ödeme ile tarama" pazarı oluşturdu; çözmek istediği tam olarak bu sorun.
Şirket, web sitesinin arka planda AI tarayıcıları için "izin verme, engelleme veya ücret talep etme" seçeneğini seçebileceği bir izin ve ödeme sistemi tasarladı. AI tarayıcıları, bu web sitesinin içeriğini almak istediklerinde kayıt olmalı, kimlik doğrulamalı ve her ziyaretlerinde ödeme yapmalıdır.
Eğer her şey yolunda giderse, bu model, internet içeriğinin "reklam gelirinden" "içerik lisanslamaya geçmesine" olanak tanıyacak ve yeni gelir kaynakları yaratacaktır. İster büyük medya kuruluşları, isterse az tanınan küçük bloglar olsun, AI çağında pazarlık gücüne sahip olabilecekler ve AI tarafından ücretli olarak kullanılacaklar.
Anlamını vurgulamak için Cloudflare CEO'su, "Pay Per Crawl" uygulamasının başladığı günü şöyle adlandırdı:
"İçeriğin Bağımsızlık Günü".
02
AI "geçiş ücreti" nasıl alınır?
Elbette, hayaller güzel ama teknoloji nasıl hayata geçirilecek?
Cloudflare bu şirket, CDN, DDoS koruması, DNS, sıfır güvenlik gibi hizmetler sunarak başladı. Dünya genelinde 300'den fazla şehirde düğümler konuşlandırmış olup, yaklaşık %20 Web trafiğini taşımaktadır, bu da ona "aracı" olarak kolaylık sağlamaktadır.
"Pay Per Crawl", global CDN ağının orta katmanında kurulmuştur: erişim istekleri kaynak siteye ulaşmadan önce AI botlarını tanıyıp işleyebilir. Web yöneticileri Cloudflare arka planda üç mod ayarlayabilir: izin ver, ücret al, engelle.
Site yöneticisi, arka planda izin verme, ücretlendirme veya engelleme ayarlarını yapabilir｜Görsel kaynak: Cloudflare
Cloudflare'a yeni eklenen tüm web siteleri, site yöneticisi aktif olarak izin vermedikçe, varsayılan olarak AI tarayıcılarını engeller. Sadece Cloudflare ile işbirliği yapan AI şirketleri ödeme mekanizmasına katılabilir, aksi takdirde engellenecekler.
Eğer AI tarayıcısı ücretli URL'ye istek gönderirse ve henüz ödeme yapılmamışsa, Cloudflare HTTP 402 Payment Required durum kodunu dönecektir - bu, geçmişte neredeyse kimsenin kullanmadığı, "ağ ödemeleri" için ayrılmış bir durum kodudur. AI tarayıcısı, istek içinde ödeme bilgilerini taşıyarak belirlenen fiyatı ödemeyi kabul ettiğini gösterebilir; fiyat eşleştiğinde 200 OK döner ve otomatik olarak hesap kapatılır.
Cloudflare, bu işlemde "kasiyer" olarak görev yapar, faturalara ve gelirlerin dağıtımına odaklanır.
Cloudflare, HTTP 402 Payment Required durum kodu döndürecektir｜Görüntü kaynağı: Cloudflare
Tarayıcı, istekte ödeme bilgileriyle birlikte olabilir｜Görsel Kaynağı: Cloudflare
HTTP 200 OK yanıtı ücretin onaylandığını gösterir｜Görsel kaynak: Cloudflare
Daha da önemlisi, bu basit bir User-Agent aldatmacası ile aşılabilecek bir şey değil. Cloudflare, AI şirketlerinin kimliklerini dijital imza ile garanti altına almak için anahtar kaydetmelerini talep ediyor. Bu, "taklit tarayıcıların" uyum sağlayanlar gibi davranarak ödemelerden kaçınmalarını önlemek için de.
Geçmişte, robots.txt, web sitesinin ana dizininde bulunan düz metin dosyasıydı ve arama motoru botlarına hangi sayfaların taranabileceğini, hangilerinin taranamayacağını bildirmek için kullanılıyordu; ancak bu sadece web sitesinin "nazik bir önerisi" idi, birçok AI botu bunu dikkate almıyordu. Cloudflare'ın çözümü bunu değiştirdi ve mevcut olan robots.txt'nin "yumuşak kısıtlamasını" "sert kapılara" dönüştürdü.
Ancak, Cloudflare'a göre, şu anda ilk 10000 alan adından yalnızca yaklaşık %37'sinin robots.txt dosyası bulunmaktadır.
AI tarayıcısına seviye ayarlayın｜Görsel kaynak: Cloudflare
Cloudflare'ın tarama ücretli pazarına katılmak için, tarayıcıların ve tarananların Cloudflare hesabı açması gerekmektedir. Şu anda, "Tarama Başına Ödeme" hala kapalı beta aşamasındadır ve yalnızca BuzzFeed, The Atlantic ve Fortune gibi bazı büyük yayıncılar katılmaktadır. Cloudflare, içerik oluşturucuları ve tarayıcıları davet etmeye devam etmektedir.
"Ücretli kullanım modelinin önemli bir gelişme kaydedeceğini bekliyoruz." Cloudflare yetkilileri belirtti.
Henüz erken aşamalarda olmasına rağmen, şirketin geleceğe dair birçok fikri var. Örneğin, yayıncılar veya diğer kuruluşlar farklı içerik türleri için farklı ücretler talep edebilir veya AI uygulamalarının kullanıcı sayısına göre dinamik fiyatlandırma yapabilir veya eğitim, çıkarım, arama gibi farklı alanlara daha ince ayrıntılı fiyatlandırma stratejileri getirebilir.
Onlar, her seferinde ödeme yapan tarayıcıların gerçek potansiyelinin belki de Agent akıllı ajanlar dünyasında ortaya çıkacağını düşünüyorlar.
"Eğer akıllı ajanın ödeme duvarı tamamen programatik bir şekilde çalışabilirse, ne olurdu? Hayal et, derinlemesine araştırma asistanından son kanser araştırmalarını, hukuk brifinglerini derlemesini veya en iyi restoranları bulmasını isteyebilirsin - sonra bu akıllı ajana, en faydalı ve en ilgili içerikleri edinmesi için bir bütçe verirsin."
"HTTP 402 yanıt kodunu temel alan ilk çözüm, bir akıllı aracın dijital kaynaklara erişimi programatik olarak müzakere etme geleceğini açacak." dedi Cloudflare.
03
İnternet'in kavşağı
Ekonomik açıdan, bu AI ve geniş içerik üreticileri için "kâr paylaşımını yeniden müzakere etme" başlangıcı olabilir.
Şu anda, yalnızca büyük medya kuruluşları AI şirketleriyle lisanslama konusunda müzakere edebiliyor (örneğin, New York Times, OpenAI hakkında haber yaptıktan sonra uzlaşmaya varabildi), çoğu küçük ve orta ölçekli web siteleri, forumlar hatta bireysel yazarlar "sessizce kayboluyor", hiçbir direniş gücüne sahip değil veya bu konuda bir bilinçleri yok. Cloudflare'ın çözümü, aslında bu pazarlık gücünü daha geniş web sitelerine yaymayı sağlayabilir.
Cloudflare ekibine göre, haber ajansları, yayıncılar ve büyük sosyal medya platformlarıyla yüzlerce görüşme gerçekleştirdiler ve hepsi "AI tarayıcılarının içeriklerine erişmesine izin vermek istiyor, ancak karşılığında ödeme almak istiyorlar."
Destekçiler için, "Pay Per Crawl" modeli ilke olarak oldukça "adil"dir: Yaratıcılar gelir elde eder, AI şirketleri de hukuki risklerden kaçınır. Uzun vadede, bu tüm endüstrinin daha uyumlu içerik lisanslamasına doğru ilerlemesini sağlayabilir.
Görsel kaynağı: Cloudflare
Elbette, AI şirketleri mutlaka mutlu değil, internet verileri artık ücretsiz değil, yeni içerik elde etmek için para harcamak gerekiyor, bu da hesaplama gücünün ötesinde maliyet unsurları anlamına geliyor.
Ancak diğer yandan, bu belki de aşırı veri toplama faaliyetlerini engelleyebilir ve AI model geliştiricilerini veriler üzerinde daha seçici olmaya zorlayabilir - örneğin, yüksek değerli içerikleri hedef alarak satın almak, her türlü web sitesi içeriğini modele sokmak yerine.
Matthew Prince, "AI motoru bir İsviçre peyniri gibi, bu peynirin deliklerini doldurabilecek gerçek, yeni orijinal içerik, şu anda ağın büyük bir kısmını kaplayan tekrarlayıcı, düşük değerli içerikten daha değerlidir."
Ona göre, trafik her zaman içeriğin değerini doğru bir şekilde ölçemedi; "Eğer içeriği, ne kadar trafik ürettiğine değil, bilgiye katkı sağlama derecesine göre (AI motorundaki mevcut delikleri ne kadar doldurduğuna göre ölçerek) puanlamaya ve değerlendirmeye başlarsak - sadece AI motorlarının daha hızlı ilerlemesine yardımcı olmakla kalmaz, aynı zamanda yüksek değerli içerik yaratımında yeni bir altın çağı teşvik etme potansiyeline de sahip olabiliriz."
Ancak, dijital haklar savunucuları şunu sorabilir: Küçük AI girişim ekipleri, araştırmacılar ve açık kaynak toplulukları böyle bir veri maliyetini karşılayabilir mi? Akademik araştırmalar ve kamu yararına arşivleme gibi "iyi niyetli örümcekler" sınırlı ve düşük değerli veri kaynaklarına erişmekte zorlanacak mı?
Rekabetin azaldığı ve trafik maliyetlerinin arttığı bir ortamda, kaç tane web sitesi AI örümceklerin sömürmesine ücretsiz olarak açılmayı kabul eder? Bu, internetin özgürlük ve paylaşım ruhunu kaybetmesine neden olacak "kapalılaşmanın" başlangıcı mı olacak?
Eğer tüm ağ ücretli erişimi varsayılan olarak engellerse, bu "büyük şirketlerin tekelleşmesini" istemeden artırır mı? Sonuçta, büyük şirketlerin daha fazla parası var.
"Pay Per Crawl" modeli, bir yandan AI'nın içerik emme sorununu çözmeye çalışırken, diğer yandan farkında olmadan AI yeniliği için engelleri artırabilir ve telif hakkı koruma ile bilgi paylaşımının eski konusuna geri dönebilir.
Elbette, Cloudflare sadece web sitelerine daha fazla özerklik sağlıyor. Web sitesi sahipleri tamamen kar amacı gütmeyen projelere ücretsiz olarak açık kalmayı seçebilirler. Güç hala yaratıcıların elinde. Ne olursa olsun, onların "tazminat" alma hakkı var.
Cloudflare CEO's sözlerine göre, bu dönüşümün hedefi "daha iyi bir internet inşa etmek". "Tüm cevapları henüz bilmiyoruz, ancak bazı önde gelen ekonomistler ve bilgisayar bilimcileri ile cevapları bulmak için işbirliği yapıyoruz."
Şu anda, diğer CDN ve güvenlik sağlayıcıları (örneğin Akamai, Fastly, Amazon CloudFront) benzer bir özellik duyurmadı.
AI tarayıcı robotunu kapının dışına koyun｜Görüntü kaynağı: Cloudflare
Cloudflare'ın "Pay Per Crawl" özelliği sadece bir CDN ürününün yeni bir işlevi gibi görünse de, bir anlamda:
Bu, internetin bir dönüm noktasına geldiğine dair bir işaret olabilir.
Arama çağında, içeriğin değeri kullanıcı erişimi aracılığıyla reklam gelirine dönüştürülmektedir. Ancak AI çağında, kullanıcılar sitelere hiç girmeyebilir - tüm cevaplar sohbet robotları tarafından özetlenip üretilmektedir. AI büyük modellerinin ücretsiz olarak ağ içeriğini keşfetmesine izin vermek mi yoksa veri ediniminde "karşılıklı fayda" ilkesine geri dönmek ve içerik üreticilerine hak ettikleri tazminatı sağlamak mı? Tazminat ne kadar olabilir?
Bu erken deney, yeni bir AI çağının veri ekonomisi biçimlerine zemin hazırlıyor olabilir; başarısızlık ya da başarı fark etmeksizin, duruşu açıktır: AI, yaratıcıların sabrını sonsuz bir şekilde tüketemez ve "açıklık" adına insan emeğini bedava bir yakıta dönüştüremez.
"Ağ, dönüşüm geçiriyor ve iş modeli de buna bağlı olarak değişecek. Bu süreçte, geçmişteki 30 yıldan iyi yerleri öğrenme fırsatımız var, böylece gelecekte daha iyi hale getirebiliriz."
Konu, gerçekten iyiye gidebilir mi, Cloudflare'ın kendisinin kabul ettiği gibi:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
"Siber Buda" güç gösteriyor, AI devlerinin "ücretsiz öğle yemeği" dönemi sona erdi.
Musk ve Trump, Beyaz Saray'daki bu ikili son zamanlarda "ağız dövüşü"ne 2.0 dönemine girdi. Bu iki neşeli düşmanla benzer şekilde, yabancı yayıncı grupları ile AI devleri arasındaki aşk-nefret ilişkisi var - bir yandan büyük yayıncılar AI şirketleriyle işbirliği yapmak istiyor, diğer yandan ise yayıncılar AI devlerini iflas ettirmeye yemin ediyor.
Verilere göre, AI arama ve ChatGPT'nin ortaya çıkmasından sonra küresel web trafiği düşüş göstermektedir; diğer yandan, AI devlerinin "AI tarayıcıları" tarayıcı protokollerini dikkate almadan, on binlerce kez veri çekerek tüm web sitelerinin verilerini sürekli olarak aşındırmaktadır.
Bu noktada, nihayet bir altyapı şirketi ortaya çıktı ve içerik üreticisinin elini tutarak şöyle dedi: "AI devlerine hayır diyebiliriz!"
Cloudflare, internet altyapı devi olan ve dünya genelinde yaklaşık %20 çevrimiçi trafiği kontrol eden bu şirket, internet kullanıcıları tarafından "Siber Bodhisattva" olarak adlandırılmaktadır. 2025 yılının Temmuz ayında deneysel bir ürün ve ticaret pazarı olan "Pay Per Crawl"'ı başlattı - AI tarayıcıları için yeni kurallar belirledi:
Ya izin al ya da ödeme yap.
Kısacası, bu özelliğin özü, web içeriği oluşturucularına bir seçenek "açma kapama" sunmaktır: AI tarayıcılarının serbestçe erişmesine izin verme, her tarama için ücret alma veya doğrudan erişimi engelleme seçeneği.
Cloudflare kurucusunun belirttiğine göre, "içerik AI motorunu harekete geçiren yakıttır, bu nedenle içerik oluşturucuların doğrudan ödeme alması adildir."
AI şirketleri için, tüm internet içeriğini model eğitimi için toplamaya devam etmek istediklerinde, artık eskisi gibi "bedava ziyafet" yapamazlar. Ama bunun da avantajları yok değil; çünkü şeffaf fiyatlandırma ile ödeme yapmak, telif hakkı tartışmalarını önleyebilir.
Cloudflare'ın bu seferki "böcek önleme" önlemi, AI botlarının keyfi saldırılarını hafifletebilir mi? Daha da önemlisi, bu şirket kendi benzersiz konumunu kullanarak tamamen yeni bir AI çağı içerik dağıtım ve para kazanma modeli oluşturabilir mi?
01
AI devlerinin "ücretsiz öğle yemeği"
Son birkaç on yılda, çoğu web sayfası varsayılan olarak halka açık "tarayıcı" olarak ayarlandı. Google, Bing gibi arama motorları web sitelerine trafik sağladı, trafik elde edildiğinde, web siteleri reklamlar veya abonelik satışları ile gelir elde etti - bu, arama çağının gizli sözleşmesidir.
AI çağında, geleneksel arama trafiği hızla düştü, bu hesap ne kadar hesaplanırsa o kadar zarar ediyor.
AI şirketleri, tüm internet içeriğini eğitim yakıtı olarak kullanıyor, ancak çoğu içerik oluşturucusuna neredeyse hiç geri ödeme yapmıyorlar. Kullanıcılar AI sohbet robotuna doğrudan soru sorduğunda, cevaplar genellikle özetlenmiş içerikten geliyor ve onlarca mavi bağlantıdan değil, bu da web sitelerine daha fazla trafik getirmiyor.
Hatta Google gibi arama devleri bile değişiyor; önceden web sitesi bağlantı listeleri sunarlardı, şimdi arama sayfasında "yapay zeka özetleri" sunuyorlar. Raporlarına göre, kullanıcıların %75'i herhangi bir bağlantıya tıklamadan cevap alıyor.
Cloudflare'ın 2025 Temmuz'daki en son verileri: Google'ın tarayıcıları, web sitelerine yaklaşık her 6-7 taramada 1 tıklama getirirken, OpenAI 1500 taramada 1 yönlendirme alıyor, Anthropic'in oranı ise daha da abartılı, 73300 taramada 1 yönlendirme.
Büyük şirketlerin AI tarayıcıları her seferinde web sitelerine getirdiği tıklama oranı｜Görsel kaynak: Cloudflare
Bu, geleneksel "içerik değişimi için trafik" modelinin geçersiz hale geldiği anlamına geliyor. Geleneksel arama motorlarına kıyasla, AI devleri büyük miktarda site içeriğini tüketiyor, ancak "trafik yönlendirmiyor", bu dengesizlik bazı içerik üreticilerini giderek daha zor bir duruma sokuyor.
"OpenAI ile birlikte, web sitesi trafiği elde etme zorluğu, Google dönemine göre 750 kat daha yüksek, Anthropic ile birlikte ise bu zorluk 30,000 katına çıkıyor. Bunun nedeni çok basit: Artık orijinal içerikleri tüketmek yerine, onların türevlerini tüketiyoruz." Cloudflare CEO'su Matthew Prince, bir blog yazısında "Bu adil bir ticaret değil" dedi.
AI şirketlerinin veri toplamasının da bir bedeli var, bu iki yılda AI devleri sürekli olarak "içerik çalmakla" suçlandı ve bu durum dünya çapında bir telif hakkı davası dalgasını tetikledi, özellikle New York Times gibi haber kuruluşları ile OpenAI arasında sürekli davalar var.
Aktif büyük şirket AI tarayıcı robotu｜Görüntü kaynağı: Cloudflare
Bu nedenle, Cloudflare "Pay Per Crawl" ı piyasaya sürdü ve "başına ödeme ile tarama" pazarı oluşturdu; çözmek istediği tam olarak bu sorun.
Şirket, web sitesinin arka planda AI tarayıcıları için "izin verme, engelleme veya ücret talep etme" seçeneğini seçebileceği bir izin ve ödeme sistemi tasarladı. AI tarayıcıları, bu web sitesinin içeriğini almak istediklerinde kayıt olmalı, kimlik doğrulamalı ve her ziyaretlerinde ödeme yapmalıdır.
Eğer her şey yolunda giderse, bu model, internet içeriğinin "reklam gelirinden" "içerik lisanslamaya geçmesine" olanak tanıyacak ve yeni gelir kaynakları yaratacaktır. İster büyük medya kuruluşları, isterse az tanınan küçük bloglar olsun, AI çağında pazarlık gücüne sahip olabilecekler ve AI tarafından ücretli olarak kullanılacaklar.
Anlamını vurgulamak için Cloudflare CEO'su, "Pay Per Crawl" uygulamasının başladığı günü şöyle adlandırdı:
"İçeriğin Bağımsızlık Günü".
02
AI "geçiş ücreti" nasıl alınır?
Elbette, hayaller güzel ama teknoloji nasıl hayata geçirilecek?
Cloudflare bu şirket, CDN, DDoS koruması, DNS, sıfır güvenlik gibi hizmetler sunarak başladı. Dünya genelinde 300'den fazla şehirde düğümler konuşlandırmış olup, yaklaşık %20 Web trafiğini taşımaktadır, bu da ona "aracı" olarak kolaylık sağlamaktadır.
"Pay Per Crawl", global CDN ağının orta katmanında kurulmuştur: erişim istekleri kaynak siteye ulaşmadan önce AI botlarını tanıyıp işleyebilir. Web yöneticileri Cloudflare arka planda üç mod ayarlayabilir: izin ver, ücret al, engelle.
Site yöneticisi, arka planda izin verme, ücretlendirme veya engelleme ayarlarını yapabilir｜Görsel kaynak: Cloudflare
Cloudflare'a yeni eklenen tüm web siteleri, site yöneticisi aktif olarak izin vermedikçe, varsayılan olarak AI tarayıcılarını engeller. Sadece Cloudflare ile işbirliği yapan AI şirketleri ödeme mekanizmasına katılabilir, aksi takdirde engellenecekler.
Eğer AI tarayıcısı ücretli URL'ye istek gönderirse ve henüz ödeme yapılmamışsa, Cloudflare HTTP 402 Payment Required durum kodunu dönecektir - bu, geçmişte neredeyse kimsenin kullanmadığı, "ağ ödemeleri" için ayrılmış bir durum kodudur. AI tarayıcısı, istek içinde ödeme bilgilerini taşıyarak belirlenen fiyatı ödemeyi kabul ettiğini gösterebilir; fiyat eşleştiğinde 200 OK döner ve otomatik olarak hesap kapatılır.
Cloudflare, bu işlemde "kasiyer" olarak görev yapar, faturalara ve gelirlerin dağıtımına odaklanır.
Cloudflare, HTTP 402 Payment Required durum kodu döndürecektir｜Görüntü kaynağı: Cloudflare
Tarayıcı, istekte ödeme bilgileriyle birlikte olabilir｜Görsel Kaynağı: Cloudflare
HTTP 200 OK yanıtı ücretin onaylandığını gösterir｜Görsel kaynak: Cloudflare
Daha da önemlisi, bu basit bir User-Agent aldatmacası ile aşılabilecek bir şey değil. Cloudflare, AI şirketlerinin kimliklerini dijital imza ile garanti altına almak için anahtar kaydetmelerini talep ediyor. Bu, "taklit tarayıcıların" uyum sağlayanlar gibi davranarak ödemelerden kaçınmalarını önlemek için de.
Geçmişte, robots.txt, web sitesinin ana dizininde bulunan düz metin dosyasıydı ve arama motoru botlarına hangi sayfaların taranabileceğini, hangilerinin taranamayacağını bildirmek için kullanılıyordu; ancak bu sadece web sitesinin "nazik bir önerisi" idi, birçok AI botu bunu dikkate almıyordu. Cloudflare'ın çözümü bunu değiştirdi ve mevcut olan robots.txt'nin "yumuşak kısıtlamasını" "sert kapılara" dönüştürdü.
Ancak, Cloudflare'a göre, şu anda ilk 10000 alan adından yalnızca yaklaşık %37'sinin robots.txt dosyası bulunmaktadır.
AI tarayıcısına seviye ayarlayın｜Görsel kaynak: Cloudflare
Cloudflare'ın tarama ücretli pazarına katılmak için, tarayıcıların ve tarananların Cloudflare hesabı açması gerekmektedir. Şu anda, "Tarama Başına Ödeme" hala kapalı beta aşamasındadır ve yalnızca BuzzFeed, The Atlantic ve Fortune gibi bazı büyük yayıncılar katılmaktadır. Cloudflare, içerik oluşturucuları ve tarayıcıları davet etmeye devam etmektedir.
"Ücretli kullanım modelinin önemli bir gelişme kaydedeceğini bekliyoruz." Cloudflare yetkilileri belirtti.
Henüz erken aşamalarda olmasına rağmen, şirketin geleceğe dair birçok fikri var. Örneğin, yayıncılar veya diğer kuruluşlar farklı içerik türleri için farklı ücretler talep edebilir veya AI uygulamalarının kullanıcı sayısına göre dinamik fiyatlandırma yapabilir veya eğitim, çıkarım, arama gibi farklı alanlara daha ince ayrıntılı fiyatlandırma stratejileri getirebilir.
Onlar, her seferinde ödeme yapan tarayıcıların gerçek potansiyelinin belki de Agent akıllı ajanlar dünyasında ortaya çıkacağını düşünüyorlar.
"Eğer akıllı ajanın ödeme duvarı tamamen programatik bir şekilde çalışabilirse, ne olurdu? Hayal et, derinlemesine araştırma asistanından son kanser araştırmalarını, hukuk brifinglerini derlemesini veya en iyi restoranları bulmasını isteyebilirsin - sonra bu akıllı ajana, en faydalı ve en ilgili içerikleri edinmesi için bir bütçe verirsin."
"HTTP 402 yanıt kodunu temel alan ilk çözüm, bir akıllı aracın dijital kaynaklara erişimi programatik olarak müzakere etme geleceğini açacak." dedi Cloudflare.
03
İnternet'in kavşağı
Ekonomik açıdan, bu AI ve geniş içerik üreticileri için "kâr paylaşımını yeniden müzakere etme" başlangıcı olabilir.
Şu anda, yalnızca büyük medya kuruluşları AI şirketleriyle lisanslama konusunda müzakere edebiliyor (örneğin, New York Times, OpenAI hakkında haber yaptıktan sonra uzlaşmaya varabildi), çoğu küçük ve orta ölçekli web siteleri, forumlar hatta bireysel yazarlar "sessizce kayboluyor", hiçbir direniş gücüne sahip değil veya bu konuda bir bilinçleri yok. Cloudflare'ın çözümü, aslında bu pazarlık gücünü daha geniş web sitelerine yaymayı sağlayabilir.
Cloudflare ekibine göre, haber ajansları, yayıncılar ve büyük sosyal medya platformlarıyla yüzlerce görüşme gerçekleştirdiler ve hepsi "AI tarayıcılarının içeriklerine erişmesine izin vermek istiyor, ancak karşılığında ödeme almak istiyorlar."
Destekçiler için, "Pay Per Crawl" modeli ilke olarak oldukça "adil"dir: Yaratıcılar gelir elde eder, AI şirketleri de hukuki risklerden kaçınır. Uzun vadede, bu tüm endüstrinin daha uyumlu içerik lisanslamasına doğru ilerlemesini sağlayabilir.
Görsel kaynağı: Cloudflare
Elbette, AI şirketleri mutlaka mutlu değil, internet verileri artık ücretsiz değil, yeni içerik elde etmek için para harcamak gerekiyor, bu da hesaplama gücünün ötesinde maliyet unsurları anlamına geliyor.
Ancak diğer yandan, bu belki de aşırı veri toplama faaliyetlerini engelleyebilir ve AI model geliştiricilerini veriler üzerinde daha seçici olmaya zorlayabilir - örneğin, yüksek değerli içerikleri hedef alarak satın almak, her türlü web sitesi içeriğini modele sokmak yerine.
Matthew Prince, "AI motoru bir İsviçre peyniri gibi, bu peynirin deliklerini doldurabilecek gerçek, yeni orijinal içerik, şu anda ağın büyük bir kısmını kaplayan tekrarlayıcı, düşük değerli içerikten daha değerlidir."
Ona göre, trafik her zaman içeriğin değerini doğru bir şekilde ölçemedi; "Eğer içeriği, ne kadar trafik ürettiğine değil, bilgiye katkı sağlama derecesine göre (AI motorundaki mevcut delikleri ne kadar doldurduğuna göre ölçerek) puanlamaya ve değerlendirmeye başlarsak - sadece AI motorlarının daha hızlı ilerlemesine yardımcı olmakla kalmaz, aynı zamanda yüksek değerli içerik yaratımında yeni bir altın çağı teşvik etme potansiyeline de sahip olabiliriz."
Ancak, dijital haklar savunucuları şunu sorabilir: Küçük AI girişim ekipleri, araştırmacılar ve açık kaynak toplulukları böyle bir veri maliyetini karşılayabilir mi? Akademik araştırmalar ve kamu yararına arşivleme gibi "iyi niyetli örümcekler" sınırlı ve düşük değerli veri kaynaklarına erişmekte zorlanacak mı?
Rekabetin azaldığı ve trafik maliyetlerinin arttığı bir ortamda, kaç tane web sitesi AI örümceklerin sömürmesine ücretsiz olarak açılmayı kabul eder? Bu, internetin özgürlük ve paylaşım ruhunu kaybetmesine neden olacak "kapalılaşmanın" başlangıcı mı olacak?
Eğer tüm ağ ücretli erişimi varsayılan olarak engellerse, bu "büyük şirketlerin tekelleşmesini" istemeden artırır mı? Sonuçta, büyük şirketlerin daha fazla parası var.
"Pay Per Crawl" modeli, bir yandan AI'nın içerik emme sorununu çözmeye çalışırken, diğer yandan farkında olmadan AI yeniliği için engelleri artırabilir ve telif hakkı koruma ile bilgi paylaşımının eski konusuna geri dönebilir.
Elbette, Cloudflare sadece web sitelerine daha fazla özerklik sağlıyor. Web sitesi sahipleri tamamen kar amacı gütmeyen projelere ücretsiz olarak açık kalmayı seçebilirler. Güç hala yaratıcıların elinde. Ne olursa olsun, onların "tazminat" alma hakkı var.
Cloudflare CEO's sözlerine göre, bu dönüşümün hedefi "daha iyi bir internet inşa etmek". "Tüm cevapları henüz bilmiyoruz, ancak bazı önde gelen ekonomistler ve bilgisayar bilimcileri ile cevapları bulmak için işbirliği yapıyoruz."
Şu anda, diğer CDN ve güvenlik sağlayıcıları (örneğin Akamai, Fastly, Amazon CloudFront) benzer bir özellik duyurmadı.
AI tarayıcı robotunu kapının dışına koyun｜Görüntü kaynağı: Cloudflare
Cloudflare'ın "Pay Per Crawl" özelliği sadece bir CDN ürününün yeni bir işlevi gibi görünse de, bir anlamda:
Bu, internetin bir dönüm noktasına geldiğine dair bir işaret olabilir.
Arama çağında, içeriğin değeri kullanıcı erişimi aracılığıyla reklam gelirine dönüştürülmektedir. Ancak AI çağında, kullanıcılar sitelere hiç girmeyebilir - tüm cevaplar sohbet robotları tarafından özetlenip üretilmektedir. AI büyük modellerinin ücretsiz olarak ağ içeriğini keşfetmesine izin vermek mi yoksa veri ediniminde "karşılıklı fayda" ilkesine geri dönmek ve içerik üreticilerine hak ettikleri tazminatı sağlamak mı? Tazminat ne kadar olabilir?
Bu erken deney, yeni bir AI çağının veri ekonomisi biçimlerine zemin hazırlıyor olabilir; başarısızlık ya da başarı fark etmeksizin, duruşu açıktır: AI, yaratıcıların sabrını sonsuz bir şekilde tüketemez ve "açıklık" adına insan emeğini bedava bir yakıta dönüştüremez.
"Ağ, dönüşüm geçiriyor ve iş modeli de buna bağlı olarak değişecek. Bu süreçte, geçmişteki 30 yıldan iyi yerleri öğrenme fırsatımız var, böylece gelecekte daha iyi hale getirebiliriz."
Konu, gerçekten iyiye gidebilir mi, Cloudflare'ın kendisinin kabul ettiği gibi:
"Bu sadece bir başlangıçtır."