Маск і Трамп, ця пара «двоєдушників» Білого дому, нещодавно вступила у фазу 2.0 у своїй «бійці на словах». Подібно до цієї парочки, є також боротьба між закордонними видавничими групами та AI-гігантами — з одного боку, великі видавці хочуть співпрацювати з AI-компаніями, з іншого боку, видавці клянуться, що доведуть AI-гігантів до банкрутства.
Згідно з даними, після появи AI пошуку та ChatGPT, глобальний трафік веб-сайтів зменшується; з іншого боку, «AI павуки» технологічних гігантів нехтують протоколами павуків і тисячами запитів постійно споживають дані всіх веб-сайтів.
В цей час, нарешті, одна будівельна компанія виступила вперед, взявши за руку творців контенту, і сказала: «Ми можемо сказати ні AI гігантам!»
Cloudflare, цей інтернет-інфраструктурний гігант, який контролює близько 20% світового веб-трафіку і отримав від інтернет-користувачів прізвисько «Кібер-бодхісатва», запустив у липні 2025 року експериментальний продукт і торговий ринок: «Pay Per Crawl» — встановив нові правила для AI-краулінгу:
Або отримати ліцензію, або заплатити.
Простими словами, суть цієї функції полягає в тому, щоб надати творцям контенту на сайті опцію «вимикача»: вони можуть вибрати дозволити AI-роботам вільно доступати, стягувати плату за кожен доступ або ж безпосередньо заблокувати доступ.
Згідно з словами засновника Cloudflare, «контент є паливом для двигуна штучного інтелекту, тому справедливо, щоб творці контенту отримували пряму винагороду.»
Для компаній, що займаються штучним інтелектом, бажаючи продовжувати збирати контент з усього інтернету для навчання моделей, вже не можна, як раніше, «безкоштовно користуватися всім». Але це не без переваг, адже завдяки чітко визначеній ціні можна уникнути проблем із авторським правом.
Чи зможе ініціатива Cloudflare «протидія шкідливим ботам» пом'якшити безконтрольні атаки AI-сканерів? Що ще важливіше, чи зможе ця компанія використати свою унікальну позицію для створення абсолютно нової моделі розповсюдження та монетизації контенту в епоху AI?
01
«Безкоштовний обід» AI-гігантів
Протягом останніх кількох десятиліть більшість веб-сторінок за замовчуванням є відкритими для «сканування». Пошукові системи, такі як Google і Bing, приносять трафік на сайти, а отримавши трафік, сайти заробляють через рекламу або продаж підписок — це невидимий договір ери пошуку.
У епоху штучного інтелекту традиційний трафік пошуку різко знизився, і ця справа виглядає все гірше.
Компанії штучного інтелекту використовують весь контент в Інтернеті як паливо для навчання, але майже не відшкодовують більшість творців контенту. Коли користувачі безпосередньо запитують у чат-ботах штучного інтелекту, відповіді зазвичай походять з узагальненого контенту, а не з десятків синіх посилань, що не приносить більше трафіку на сайти.
Навіть такі пошукові гіганти, як Google, також змінюються: раніше вони надавали списки посилань на сайти, а сьогодні на сторінках пошуку вони запустили "Огляд штучного інтелекту". Згідно з їхніми звітами, 75% користувачів, які виконують запити, отримують відповіді, не натискаючи на жодне посилання.
Останні дані Cloudflare за липень 2025 року показують: пауки Google приносять приблизно 1 клік на кожні 6-7 звернень до сайту, тоді як OpenAI отримує 1 перехід лише на 1500 звернень, а співвідношення Anthropic ще більш вражаюче - 1 перехід на 73300 звернень.
Відношення кліків, яке приносить кожен захват AI-сканера від великих компаній на сайті｜Джерело зображення: Cloudflare
Це означає, що традиційна модель «контент за трафік» перестала працювати. На відміну від традиційних пошукових систем, гіганти ШІ поглинають величезні обсяги сайту контенту, але не забезпечують «трафік», ця дисбаланс робить деяких виробників контенту все більш важкими для існування.
«З OpenAI отримати трафік на веб-сайти стало важче в 750 разів порівняно з епохою Google, а з Anthropic – навіть у 30 тисяч разів. Причина проста: ми все менше споживаємо оригінальний контент, а більше – його похідні». Генеральний директор Cloudflare Меттью Прінс сказав у своїй статті: «Це нечесна угода».
Компанії ШІ також не безкоштовно збирають дані, протягом останніх двох років гігантів ШІ постійно звинувачують у «крадіжці контенту» для навчання великих моделей, що призвело до сплеску судових позовів у сфері авторського права по всьому світу, особливо з боку новинних агенцій, таких як The New York Times, та OpenAI.
Активний великий завод AI-роботів-павуків｜Джерело зображення: Cloudflare
Отже, Cloudflare випустила «Pay Per Crawl», створивши ринок «платежів за кожен Crawl», щоб вирішити цю проблему.
Компанія розробила систему дозволів і платежів, сайт може в бекенді вибирати для AI-сканерів "дозволити, заблокувати або стягувати плату", якщо AI-сканер хоче зібрати контент з цього сайту, він повинен зареєструватися, підтвердити особу і виконати платіж щоразу при відвідуванні.
Якщо все піде гладко, ця модель дозволить мережевому контенту перейти від «монетизації реклами» до «монетизації авторських прав», відкриваючи нові джерела доходу. Незалежно від того, чи це великі медіа, чи маловідомі блоги, усі зможуть мати право на переговори в епоху ШІ, отримуючи плату за використання від ШІ.
Щоб підкреслити його значення, генеральний директор Cloudflare також назвав день запуску «Pay Per Crawl» таким чином:
«День незалежності контенту».
02
Як стягується "проїзний збор" AI?
Звичайно, ідея гарна, але як реалізувати технологію?
Компанія Cloudflare почала свою діяльність з надання послуг CDN, захисту від DDoS-атак, DNS, безпеки нульового довіри тощо. Вона розгорнула вузли більш ніж у 300 містах світу, обробляючи близько 20% веб-трафіку, що створює зручності для її «посередників».
«Pay Per Crawl» будується на проміжному шарі його глобальної CDN мережі: він може розпізнавати і обробляти AI павуків ще до того, як запит на доступ потрапляє на вихідний сайт. Власники сайтів можуть налаштувати три режими в панелі управління Cloudflare: дозволити, стягнути плату, заблокувати.
Адміністратор може налаштувати в бекенді дозволи, плату або блокування｜Джерело зображення: Cloudflare
Усі нові сайти, які приєднуються до Cloudflare, за замовчуванням блокують AI-роботів, якщо адміністратор не дозволить цього. Лише AI-компанії, які встановили співпрацю з Cloudflare, можуть брати участь у механізмі оплати, інакше вони будуть заблоковані.
Якщо AI-сканер надсилає запит на платний URL, не сплативши, Cloudflare поверне статус-код HTTP 402 Payment Required — код стану, який раніше майже ніхто не використовував, спеціально зарезервований для «мережевих платежів». AI-сканер може включити платіжну інформацію в запит, щоб підтвердити згоду сплатити встановлену ціну, і як тільки ціна буде узгоджена, запит буде оброблено з поверненням 200 OK і автоматичним розрахунком.
Cloudflare є «каси» цієї угоди, що відповідає за агрегування рахунків і розподіл прибутку.
Павуки можуть передавати інформацію про оплату в запитах｜Джерело зображення: Cloudflare
HTTP 200 OK відповідь підтверджує стягнення плати｜Джерело зображення: Cloudflare
Більш важливо, що це не обійдеться простим обманом User-Agent. Cloudflare вимагає від AI-компаній реєстрації ключа, щоб гарантувати ідентичність за допомогою цифрового підпису. Це також робиться для запобігання тому, щоб «підроблені павуки» видавали себе за тих, хто дотримується правил, щоб уникнути сплати.
В минулому, robots.txt був простим текстовим файлом, розташованим у кореневому каталозі сайту, який повідомляв ботам пошукових систем, які сторінки можна індексувати, а які ні, але це була лише «ввічлива порада» сайту, і багато AI-ботів зовсім не звертали на це уваги. Рішення Cloudflare змінило цю ситуацію, перетворивши існуюче «м'яке обмеження» на основі robots.txt на «жорсткі ворота».
Проте, за словами Cloudflare, наразі лише близько 37% з 10000 найкращих доменів мають файл robots.txt.
Налаштування рівнів для AI-краулера｜Джерело зображення: Cloudflare
Якщо ви хочете взяти участь у платному ринку краулінгу Cloudflare, як краулер, так і той, кого краулють, повинні відкрити обліковий запис Cloudflare. Станом на сьогодні «Pay Per Crawl» все ще перебуває на стадії бета-тестування, і лише деякі великі видавці беруть участь, такі як BuzzFeed, «Atlantic» та «Fortune», Cloudflare продовжує відкрито запрошувати зацікавлених творців контенту та краулерів.
«Ми очікуємо, що модель оплати за використання буде значно розвиватися», — заявили в Cloudflare.
Хоча наразі компанія все ще на початковій стадії, у неї є багато задумів на майбутнє. Наприклад, видавці або інші установи можуть стягувати різні збори за різні типи контенту, або здійснювати динамічне ціноутворення залежно від кількості користувачів AI-застосунків, або впроваджувати більш детальні цінові стратегії залежно від різних областей, таких як навчання, інференція, пошук тощо.
Вони також вважають, що справжній потенціал оплати за використання краулера, можливо, проявиться у світі агентів штучного інтелекту.
"Якщо платний доступ до інтелектуальних агентів міг би повністю працювати в програмному режимі, що б сталося? Уявіть собі, що ви можете попросити свого глибокого дослідницького помічника допомогти вам зібрати останні дослідження про рак, юридичні звіти або знайти найкращі ресторани — а потім надати цьому інтелектуальному агенту бюджет для отримання найбільш корисного та актуального контенту."
«Перше рішення, основане на коді відповіді HTTP 402, відкриє майбутнє, в якому розумний агент зможе програмно узгоджувати доступ до цифрових ресурсів», — заявила компанія Cloudflare.
03
Перехрестя Інтернету
З економічної точки зору, це може бути початком «нових переговорів про розподіл доходів» між ШІ та численними творцями контенту.
Зараз тільки великі медіа можуть вести переговори про ліцензування з AI-компаніями (наприклад, Нью-Йорк Таймс змогли домовитися про угоду тільки після того, як повідомили про OpenAI), більшість малих і середніх сайтів, форумів і навіть особистих авторів «потайки зникають», не маючи змоги або навіть усвідомлення для опору. Рішення Cloudflare насправді може поширити цю переговорну здатність на більш широкі веб-сайти.
За словами команди Cloudflare, вони провели сотні діалогів з новинними агентствами, видавцями та великими соціальними медіа-платформами, які одностайно «хочуть дозволити AI-сканерам доступ до свого контенту, але хочуть отримувати за це винагороду.»
Для прихильників режим «Pay Per Crawl» концептуально є дуже «справедливим»: творці отримують дохід, компанії з штучним інтелектом уникнуть юридичних ризиків, а в довгостроковій перспективі це може сприяти тому, щоб вся індустрія рухалася в бік більш відповідального ліцензування контенту.
Зображення з: Cloudflare
Звичайно, компанії штучного інтелекту не обов'язково радіють, адже дані в Інтернеті більше не безкоштовні, щоб отримати новий контент, потрібно витрачати гроші, що означає додаткові витрати, окрім обчислювальної потужності.
Але з іншого боку, це також може стримувати несанкціоноване збори даних, а також змусити розробників AI-моделей бути більш вибірковими в даних — наприклад, цілеспрямовано купувати цінний контент, а не бездумно завантажувати в модель різноманітний контент з усіх сайтів.
Метью Прінс зазначив: «AI-двигун схожий на швейцарський сир, справжній оригінальний контент, який може заповнити дірки в цьому сиру, має більшу цінність, ніж повторюваний, низькоцінний контент, який зараз займає більшість простору в мережі.»
На його думку, трафік завжди не міг точно виміряти цінність контенту. «Якщо ми зможемо почати оцінювати та оцінювати контент не за кількістю трафіку, а за його внеском у знання (вимірюючи, наскільки він заповнює існуючі дірки в «швейцарському сиру» AI-двигунів), ми не лише зможемо допомогти AI-двигунам швидше прогресувати, але й, можливо, сприяти новій золотій епосі створення високоякісного контенту.»
Однак прихильники цифрових прав можуть запитати: чи можуть маленькі стартапи у сфері штучного інтелекту, дослідники, відкриті спільноти взяти на себе такі витрати на дані? Чи не стануть академічні дослідження, архіви для суспільства такими «добрими павуками», які не зможуть рухатися далі, зможуть отримати доступ лише до обмежених, низьковартісних джерел даних?
У реальності, де доходи від реклами знижуються, а витрати на трафік зростають, скільки веб-сайтів буде готове безкоштовно відкрити свої двері для AI-сканерів? Чи не стане це початком "закритості", що призведе до втрати Інтернетом його свободи та духу спільного використання?
Якщо вся мережа за замовчуванням заблокує плату, чи не посилить це ненавмисно «монополію великих компаній»? Адже великі компанії мають більше грошей.
Модель «Pay Per Crawl» з одного боку намагається вирішити проблему, коли контент, створений штучним інтелектом, не приносить користі, а з іншого боку, може випадково підвищити бар'єри для інновацій у сфері штучного інтелекту, повертаючись до старої теми захисту авторських прав та відкритості знань.
Звісно, Cloudflare просто надає сайтам більше автономії. Власники сайтів можуть повністю вибрати, щоб продовжувати безкоштовно відкривати їх для благодійних, неприбуткових проектів. Влада все ще в руках творців. Як би там не було, вони заслуговують на «компенсацію».
У словах генерального директора Cloudflare мета цієї трансформації полягає в тому, щоб «створити кращий інтернет». «Ми ще не знаємо всіх відповідей, але співпрацюємо з деякими провідними економістами та комп'ютерними вченими, щоб знайти відповіді.»
Наразі інші постачальники CDN та безпеки (такі як Akamai, Fastly, Amazon CloudFront) ще не оголосили про подібні функції.
Заборонити AI-сканерам входити в двері｜Джерело зображення: Cloudflare
Хоча «Pay Per Crawl» від Cloudflare виглядає просто як нова функція продукту CDN, але в певному сенсі:
Це може стати сигналом того, що інтернет досягнув роздоріжжя.
У епоху пошуку вартість контенту перетворюється на рекламний дохід через доступ користувачів. Але в епоху ШІ користувачі можуть взагалі більше не переходити на сайти — всі відповіді підсумовуються і генеруються в чат-ботах. Чи продовжувати дозволяти великим моделям ШІ безкоштовно видобувати контент з Інтернету, чи повернутися до принципу «взаємного обміну» в отриманні даних, щоб творці отримували належну компенсацію? А скільки може бути цієї компенсації?
Цей ранній експеримент може прокладати шлях до нової економіки даних епохи штучного інтелекту. Незалежно від успіху чи невдачі, його позиція є очевидною: ШІ не може безмежно виснажувати терпіння творців та перетворювати людську працю на безкоштовне паливо під прикриттям "відкритості".
"Мережа зазнає змін, і її бізнес-модель також зміниться. У цьому процесі у нас є можливість навчитися з кращих моментів минулих 30 років, щоб зробити її кращою в майбутньому."
Щодо того, чи справді речі можуть покращитися, як сам Cloudflare визнав:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
«Кібер-Бодхісатва» завдає удару, ера «безкоштовного обіду» для великих AI-компаній закінчилася
Маск і Трамп, ця пара «двоєдушників» Білого дому, нещодавно вступила у фазу 2.0 у своїй «бійці на словах». Подібно до цієї парочки, є також боротьба між закордонними видавничими групами та AI-гігантами — з одного боку, великі видавці хочуть співпрацювати з AI-компаніями, з іншого боку, видавці клянуться, що доведуть AI-гігантів до банкрутства.
Згідно з даними, після появи AI пошуку та ChatGPT, глобальний трафік веб-сайтів зменшується; з іншого боку, «AI павуки» технологічних гігантів нехтують протоколами павуків і тисячами запитів постійно споживають дані всіх веб-сайтів.
В цей час, нарешті, одна будівельна компанія виступила вперед, взявши за руку творців контенту, і сказала: «Ми можемо сказати ні AI гігантам!»
Cloudflare, цей інтернет-інфраструктурний гігант, який контролює близько 20% світового веб-трафіку і отримав від інтернет-користувачів прізвисько «Кібер-бодхісатва», запустив у липні 2025 року експериментальний продукт і торговий ринок: «Pay Per Crawl» — встановив нові правила для AI-краулінгу:
Або отримати ліцензію, або заплатити.
Простими словами, суть цієї функції полягає в тому, щоб надати творцям контенту на сайті опцію «вимикача»: вони можуть вибрати дозволити AI-роботам вільно доступати, стягувати плату за кожен доступ або ж безпосередньо заблокувати доступ.
Згідно з словами засновника Cloudflare, «контент є паливом для двигуна штучного інтелекту, тому справедливо, щоб творці контенту отримували пряму винагороду.»
Для компаній, що займаються штучним інтелектом, бажаючи продовжувати збирати контент з усього інтернету для навчання моделей, вже не можна, як раніше, «безкоштовно користуватися всім». Але це не без переваг, адже завдяки чітко визначеній ціні можна уникнути проблем із авторським правом.
Чи зможе ініціатива Cloudflare «протидія шкідливим ботам» пом'якшити безконтрольні атаки AI-сканерів? Що ще важливіше, чи зможе ця компанія використати свою унікальну позицію для створення абсолютно нової моделі розповсюдження та монетизації контенту в епоху AI?
01
«Безкоштовний обід» AI-гігантів
Протягом останніх кількох десятиліть більшість веб-сторінок за замовчуванням є відкритими для «сканування». Пошукові системи, такі як Google і Bing, приносять трафік на сайти, а отримавши трафік, сайти заробляють через рекламу або продаж підписок — це невидимий договір ери пошуку.
У епоху штучного інтелекту традиційний трафік пошуку різко знизився, і ця справа виглядає все гірше.
Компанії штучного інтелекту використовують весь контент в Інтернеті як паливо для навчання, але майже не відшкодовують більшість творців контенту. Коли користувачі безпосередньо запитують у чат-ботах штучного інтелекту, відповіді зазвичай походять з узагальненого контенту, а не з десятків синіх посилань, що не приносить більше трафіку на сайти.
Навіть такі пошукові гіганти, як Google, також змінюються: раніше вони надавали списки посилань на сайти, а сьогодні на сторінках пошуку вони запустили "Огляд штучного інтелекту". Згідно з їхніми звітами, 75% користувачів, які виконують запити, отримують відповіді, не натискаючи на жодне посилання.
Останні дані Cloudflare за липень 2025 року показують: пауки Google приносять приблизно 1 клік на кожні 6-7 звернень до сайту, тоді як OpenAI отримує 1 перехід лише на 1500 звернень, а співвідношення Anthropic ще більш вражаюче - 1 перехід на 73300 звернень.
Відношення кліків, яке приносить кожен захват AI-сканера від великих компаній на сайті｜Джерело зображення: Cloudflare
Це означає, що традиційна модель «контент за трафік» перестала працювати. На відміну від традиційних пошукових систем, гіганти ШІ поглинають величезні обсяги сайту контенту, але не забезпечують «трафік», ця дисбаланс робить деяких виробників контенту все більш важкими для існування.
«З OpenAI отримати трафік на веб-сайти стало важче в 750 разів порівняно з епохою Google, а з Anthropic – навіть у 30 тисяч разів. Причина проста: ми все менше споживаємо оригінальний контент, а більше – його похідні». Генеральний директор Cloudflare Меттью Прінс сказав у своїй статті: «Це нечесна угода».
Компанії ШІ також не безкоштовно збирають дані, протягом останніх двох років гігантів ШІ постійно звинувачують у «крадіжці контенту» для навчання великих моделей, що призвело до сплеску судових позовів у сфері авторського права по всьому світу, особливо з боку новинних агенцій, таких як The New York Times, та OpenAI.
Активний великий завод AI-роботів-павуків｜Джерело зображення: Cloudflare
Отже, Cloudflare випустила «Pay Per Crawl», створивши ринок «платежів за кожен Crawl», щоб вирішити цю проблему.
Компанія розробила систему дозволів і платежів, сайт може в бекенді вибирати для AI-сканерів "дозволити, заблокувати або стягувати плату", якщо AI-сканер хоче зібрати контент з цього сайту, він повинен зареєструватися, підтвердити особу і виконати платіж щоразу при відвідуванні.
Якщо все піде гладко, ця модель дозволить мережевому контенту перейти від «монетизації реклами» до «монетизації авторських прав», відкриваючи нові джерела доходу. Незалежно від того, чи це великі медіа, чи маловідомі блоги, усі зможуть мати право на переговори в епоху ШІ, отримуючи плату за використання від ШІ.
Щоб підкреслити його значення, генеральний директор Cloudflare також назвав день запуску «Pay Per Crawl» таким чином:
«День незалежності контенту».
02
Як стягується "проїзний збор" AI?
Звичайно, ідея гарна, але як реалізувати технологію?
Компанія Cloudflare почала свою діяльність з надання послуг CDN, захисту від DDoS-атак, DNS, безпеки нульового довіри тощо. Вона розгорнула вузли більш ніж у 300 містах світу, обробляючи близько 20% веб-трафіку, що створює зручності для її «посередників».
«Pay Per Crawl» будується на проміжному шарі його глобальної CDN мережі: він може розпізнавати і обробляти AI павуків ще до того, як запит на доступ потрапляє на вихідний сайт. Власники сайтів можуть налаштувати три режими в панелі управління Cloudflare: дозволити, стягнути плату, заблокувати.
Адміністратор може налаштувати в бекенді дозволи, плату або блокування｜Джерело зображення: Cloudflare
Усі нові сайти, які приєднуються до Cloudflare, за замовчуванням блокують AI-роботів, якщо адміністратор не дозволить цього. Лише AI-компанії, які встановили співпрацю з Cloudflare, можуть брати участь у механізмі оплати, інакше вони будуть заблоковані.
Якщо AI-сканер надсилає запит на платний URL, не сплативши, Cloudflare поверне статус-код HTTP 402 Payment Required — код стану, який раніше майже ніхто не використовував, спеціально зарезервований для «мережевих платежів». AI-сканер може включити платіжну інформацію в запит, щоб підтвердити згоду сплатити встановлену ціну, і як тільки ціна буде узгоджена, запит буде оброблено з поверненням 200 OK і автоматичним розрахунком.
Cloudflare є «каси» цієї угоди, що відповідає за агрегування рахунків і розподіл прибутку.
Cloudflare поверне статус-код HTTP 402 Payment Required｜Джерело зображення: Cloudflare
Павуки можуть передавати інформацію про оплату в запитах｜Джерело зображення: Cloudflare
HTTP 200 OK відповідь підтверджує стягнення плати｜Джерело зображення: Cloudflare
Більш важливо, що це не обійдеться простим обманом User-Agent. Cloudflare вимагає від AI-компаній реєстрації ключа, щоб гарантувати ідентичність за допомогою цифрового підпису. Це також робиться для запобігання тому, щоб «підроблені павуки» видавали себе за тих, хто дотримується правил, щоб уникнути сплати.
В минулому, robots.txt був простим текстовим файлом, розташованим у кореневому каталозі сайту, який повідомляв ботам пошукових систем, які сторінки можна індексувати, а які ні, але це була лише «ввічлива порада» сайту, і багато AI-ботів зовсім не звертали на це уваги. Рішення Cloudflare змінило цю ситуацію, перетворивши існуюче «м'яке обмеження» на основі robots.txt на «жорсткі ворота».
Проте, за словами Cloudflare, наразі лише близько 37% з 10000 найкращих доменів мають файл robots.txt.
Налаштування рівнів для AI-краулера｜Джерело зображення: Cloudflare
Якщо ви хочете взяти участь у платному ринку краулінгу Cloudflare, як краулер, так і той, кого краулють, повинні відкрити обліковий запис Cloudflare. Станом на сьогодні «Pay Per Crawl» все ще перебуває на стадії бета-тестування, і лише деякі великі видавці беруть участь, такі як BuzzFeed, «Atlantic» та «Fortune», Cloudflare продовжує відкрито запрошувати зацікавлених творців контенту та краулерів.
«Ми очікуємо, що модель оплати за використання буде значно розвиватися», — заявили в Cloudflare.
Хоча наразі компанія все ще на початковій стадії, у неї є багато задумів на майбутнє. Наприклад, видавці або інші установи можуть стягувати різні збори за різні типи контенту, або здійснювати динамічне ціноутворення залежно від кількості користувачів AI-застосунків, або впроваджувати більш детальні цінові стратегії залежно від різних областей, таких як навчання, інференція, пошук тощо.
Вони також вважають, що справжній потенціал оплати за використання краулера, можливо, проявиться у світі агентів штучного інтелекту.
"Якщо платний доступ до інтелектуальних агентів міг би повністю працювати в програмному режимі, що б сталося? Уявіть собі, що ви можете попросити свого глибокого дослідницького помічника допомогти вам зібрати останні дослідження про рак, юридичні звіти або знайти найкращі ресторани — а потім надати цьому інтелектуальному агенту бюджет для отримання найбільш корисного та актуального контенту."
«Перше рішення, основане на коді відповіді HTTP 402, відкриє майбутнє, в якому розумний агент зможе програмно узгоджувати доступ до цифрових ресурсів», — заявила компанія Cloudflare.
03
Перехрестя Інтернету
З економічної точки зору, це може бути початком «нових переговорів про розподіл доходів» між ШІ та численними творцями контенту.
Зараз тільки великі медіа можуть вести переговори про ліцензування з AI-компаніями (наприклад, Нью-Йорк Таймс змогли домовитися про угоду тільки після того, як повідомили про OpenAI), більшість малих і середніх сайтів, форумів і навіть особистих авторів «потайки зникають», не маючи змоги або навіть усвідомлення для опору. Рішення Cloudflare насправді може поширити цю переговорну здатність на більш широкі веб-сайти.
За словами команди Cloudflare, вони провели сотні діалогів з новинними агентствами, видавцями та великими соціальними медіа-платформами, які одностайно «хочуть дозволити AI-сканерам доступ до свого контенту, але хочуть отримувати за це винагороду.»
Для прихильників режим «Pay Per Crawl» концептуально є дуже «справедливим»: творці отримують дохід, компанії з штучним інтелектом уникнуть юридичних ризиків, а в довгостроковій перспективі це може сприяти тому, щоб вся індустрія рухалася в бік більш відповідального ліцензування контенту.
Зображення з: Cloudflare
Звичайно, компанії штучного інтелекту не обов'язково радіють, адже дані в Інтернеті більше не безкоштовні, щоб отримати новий контент, потрібно витрачати гроші, що означає додаткові витрати, окрім обчислювальної потужності.
Але з іншого боку, це також може стримувати несанкціоноване збори даних, а також змусити розробників AI-моделей бути більш вибірковими в даних — наприклад, цілеспрямовано купувати цінний контент, а не бездумно завантажувати в модель різноманітний контент з усіх сайтів.
Метью Прінс зазначив: «AI-двигун схожий на швейцарський сир, справжній оригінальний контент, який може заповнити дірки в цьому сиру, має більшу цінність, ніж повторюваний, низькоцінний контент, який зараз займає більшість простору в мережі.»
На його думку, трафік завжди не міг точно виміряти цінність контенту. «Якщо ми зможемо почати оцінювати та оцінювати контент не за кількістю трафіку, а за його внеском у знання (вимірюючи, наскільки він заповнює існуючі дірки в «швейцарському сиру» AI-двигунів), ми не лише зможемо допомогти AI-двигунам швидше прогресувати, але й, можливо, сприяти новій золотій епосі створення високоякісного контенту.»
Однак прихильники цифрових прав можуть запитати: чи можуть маленькі стартапи у сфері штучного інтелекту, дослідники, відкриті спільноти взяти на себе такі витрати на дані? Чи не стануть академічні дослідження, архіви для суспільства такими «добрими павуками», які не зможуть рухатися далі, зможуть отримати доступ лише до обмежених, низьковартісних джерел даних?
У реальності, де доходи від реклами знижуються, а витрати на трафік зростають, скільки веб-сайтів буде готове безкоштовно відкрити свої двері для AI-сканерів? Чи не стане це початком "закритості", що призведе до втрати Інтернетом його свободи та духу спільного використання?
Якщо вся мережа за замовчуванням заблокує плату, чи не посилить це ненавмисно «монополію великих компаній»? Адже великі компанії мають більше грошей.
Модель «Pay Per Crawl» з одного боку намагається вирішити проблему, коли контент, створений штучним інтелектом, не приносить користі, а з іншого боку, може випадково підвищити бар'єри для інновацій у сфері штучного інтелекту, повертаючись до старої теми захисту авторських прав та відкритості знань.
Звісно, Cloudflare просто надає сайтам більше автономії. Власники сайтів можуть повністю вибрати, щоб продовжувати безкоштовно відкривати їх для благодійних, неприбуткових проектів. Влада все ще в руках творців. Як би там не було, вони заслуговують на «компенсацію».
У словах генерального директора Cloudflare мета цієї трансформації полягає в тому, щоб «створити кращий інтернет». «Ми ще не знаємо всіх відповідей, але співпрацюємо з деякими провідними економістами та комп'ютерними вченими, щоб знайти відповіді.»
Наразі інші постачальники CDN та безпеки (такі як Akamai, Fastly, Amazon CloudFront) ще не оголосили про подібні функції.
Заборонити AI-сканерам входити в двері｜Джерело зображення: Cloudflare
Хоча «Pay Per Crawl» від Cloudflare виглядає просто як нова функція продукту CDN, але в певному сенсі:
Це може стати сигналом того, що інтернет досягнув роздоріжжя.
У епоху пошуку вартість контенту перетворюється на рекламний дохід через доступ користувачів. Але в епоху ШІ користувачі можуть взагалі більше не переходити на сайти — всі відповіді підсумовуються і генеруються в чат-ботах. Чи продовжувати дозволяти великим моделям ШІ безкоштовно видобувати контент з Інтернету, чи повернутися до принципу «взаємного обміну» в отриманні даних, щоб творці отримували належну компенсацію? А скільки може бути цієї компенсації?
Цей ранній експеримент може прокладати шлях до нової економіки даних епохи штучного інтелекту. Незалежно від успіху чи невдачі, його позиція є очевидною: ШІ не може безмежно виснажувати терпіння творців та перетворювати людську працю на безкоштовне паливо під прикриттям "відкритості".
"Мережа зазнає змін, і її бізнес-модель також зміниться. У цьому процесі у нас є можливість навчитися з кращих моментів минулих 30 років, щоб зробити її кращою в майбутньому."
Щодо того, чи справді речі можуть покращитися, як сам Cloudflare визнав:
«Це лише початок.»