Маск и Трамп, эта пара белоусых «двойных танцев» в последнее время вступила в новую эпоху «словесной войны» 2.0. Похожими на эту пару весёлых врагов являются отношения между зарубежными издательскими группами и гигантами ИИ — с одной стороны, крупные издатели хотят сотрудничать с ИИ-компаниями, с другой стороны, некоторые издатели клянутся довести гигантов ИИ до банкротства.
Согласно данным, после появления AI поиска и ChatGPT глобальный трафик сайтов снижается; с другой стороны, «AI-пауки» гигантов AI игнорируют протоколы пауков и продолжают массово захватывать данные всех сайтов.
В это время, наконец, одна строительная компания вышла на сцену и, взяв за руку создателей контента, сказала: «Мы можем сказать нет гигантам ИИ!»
Cloudflare, гигант интернет-инфраструктуры, контролирующий около 20% мирового интернет-трафика, который пользователи называют «кибер-бодхисатвой», запустил экспериментальный продукт и торговую площадку «Pay Per Crawl» в июле 2025 года — установив новые правила для AI-пауков:
Либо получите разрешение, либо заплатите.
Проще говоря, суть этой функции заключается в том, чтобы дать создателям контента на сайте возможность выбора «включить/выключить»: они могут выбрать разрешить AI-роботам свободный доступ, платить за каждое посещение или полностью заблокировать доступ.
Согласно словам основателя Cloudflare, «контент является топливом, которое питает AI-движок, поэтому справедливо, чтобы создатели контента получали прямое вознаграждение.»
Для AI-компаний, которые хотят продолжать собирать контент из интернета для обучения моделей, больше не получится «бесплатно наедаться», как это было раньше. Но это также не без плюсов, потому что оплата по фиксированным ценам может избежать проблем с авторским правом.
Может ли мера Cloudflare по «защите от ботов» смягчить произвольные атаки ИИ-сканеров? Что более важно, сможет ли эта компания использовать свое уникальное положение для создания новой модели распространения и монетизации контента в эпоху ИИ?
01
«Бесплатный обед» гигантов ИИ
В течение последних нескольких десятилетий большинство веб-страниц по умолчанию были открытыми для индексации. Поисковые системы, такие как Google и Bing, приносят трафик на сайты, и с этим трафиком сайты могут монетизироваться через рекламу или продажу подписок — это скрытый контракт эпохи поиска.
В эпоху ИИ традиционный трафик поиска резко упал, и чем больше мы считаем, тем больше теряем.
AI компании используют контент всего Интернета в качестве тренировочного топлива, но почти не возвращают большую часть вознаграждений создателям. Когда пользователи прямо задают вопросы в AI-чат-боте, ответы зачастую основаны на обобщенном контенте, а не на десятках синих ссылок, что не приносит сайту больше трафика.
Даже такие гиганты поиска, как Google, сами меняются. Ранее они предоставляли списки ссылок на сайты, а сегодня на странице поиска они представили «Обзор искусственного интеллекта». Согласно их отчету, 75% пользователей запросов получают ответы, не нажимая на какие-либо ссылки.
Согласно последним данным Cloudflare за июль 2025 года: паук Google приносит сайту примерно 1 клик за каждые 6-7 захватов, в то время как OpenAI получает 1 переход только за 1500 раз, а соотношение Anthropic еще более экстравагантное — целых 73300 раз за 1 переход.
Доля кликов, которую AI-роботы крупных компаний приносят для сайтов при каждом сканировании｜Источник изображения: Cloudflare
Это означает, что традиционная модель «контент в обмен на трафик» больше не работает. В отличие от традиционных поисковых систем, гиганты ИИ поглощают огромное количество контента с сайтов, но не обеспечивают «поток», и это несоответствие делает для некоторых производителей контента все более трудным существование.
«С OpenAI получить трафик на сайт стало в 750 раз сложнее, чем в эпоху Google, а с Anthropic — в 30000 раз сложнее. Причина проста: мы всё меньше потребляем оригинальный контент и всё больше его производные.» Генеральный директор Cloudflare Мэтью Принс в блоге заявил: «Это не честная сделка».
У компаний ИИ также есть цена за сбор данных. В последние два года гиганты ИИ постоянно обвиняются в «кражи контента» для обучения больших моделей, что вызвало глобальную волну судебных исков по авторским правам, особенно со стороны таких новостных агентств, как New York Times, и постоянные иски против OpenAI.
Активный AI-робот-паутина крупных компаний｜Источник изображения: Cloudflare
Таким образом, Cloudflare запустил «Pay Per Crawl», создав рынок «платного заезда», который как раз и пытается решить эту проблему.
Компания разработала систему управления доступом и платежей, на сайте можно в后台 выбрать для AI-робота "разрешить, заблокировать или взимать плату". Если AI-робот хочет получить доступ к содержимому сайта, он должен зарегистрироваться, подтвердить свою личность и осуществить платеж при каждом посещении.
Если все пройдет гладко, эта модель сможет перевести сетевое содержание от «монетизации рекламы» к «монетизации контента», открывая новые источники дохода. Независимо от того, крупные ли это медиа или малозначительные блоги, в эпоху ИИ все смогут иметь право на торг, получая оплату за использование от ИИ.
Чтобы подчеркнуть его значение, генеральный директор Cloudflare также назвал день запуска «Pay Per Crawl» следующим образом:
«День независимости контента».
02
Как взимается «плата за проезд» AI?
Конечно, мечты прекрасны, но как технологии реализуются на практике?
Компания Cloudflare начинала с предоставления услуг CDN, защиты от DDoS, DNS и безопасности с нулевым доверием. Она развернула узлы более чем в 300 городах мира и обрабатывает около 20% веб-трафика, что облегчает ее роль «посредника».
«Pay Per Crawl» основан на промежуточном слое его глобальной CDN сети: он может распознавать и обрабатывать AI-роботов до того, как запросы доступа поступят на исходный сервер. Владельцы сайтов могут настроить три режима в панели управления Cloudflare: разрешить, взимать плату, заблокировать.
Администратор может настроить разрешение, плату или блокировку в панели управления｜Источник изображения: Cloudflare
Все новые сайты, добавленные в Cloudflare, по умолчанию блокируют AI-краулеры, если администратор сайта не разрешит это. Только AI-компании, которые установили партнерские отношения с Cloudflare, могут участвовать в механизме платежей, иначе они будут заблокированы.
Если AI-сканер делает запрос к платному URL, не оплатив его, Cloudflare вернет статус код HTTP 402 Payment Required — код состояния, который ранее почти никто не использовал и который специально был зарезервирован для «онлайн-платежей». AI-сканер может включить информацию о платеже в запрос, чтобы выразить согласие на оплату установленной цены, и как только цена совпадет, доступ будет предоставлен с ответом 200 OK, и произойдет автоматический расчет.
Cloudflare сам по себе является «кассой» этой сделки, отвечая за агрегирование счетов и распределение доходов.
Пауки могут включать платежную информацию в запросе｜Источник изображения: Cloudflare
HTTP 200 OK ответ подтверждает оплату｜Источник изображения： Cloudflare
Более того, это не может быть обойдено простым обманом User-Agent. Cloudflare требует от AI компаний регистрации ключа и цифровой подписи для подтверждения их идентичности. Это также сделано для предотвращения того, чтобы «поддельные пауки» выдавали себя за законопослушных и уклонялись от платежей.
Ранее файл robots.txt был простым текстовым файлом, размещенным в корневом каталоге сайта, который сообщал паучкам поисковых систем, какие страницы можно индексировать, а какие нет, но это всего лишь «вежливое предложение» для сайта, и многие AI-пауки просто игнорируют его. Решение от Cloudflare изменило это, превратив существующие «мягкие ограничения» на основе robots.txt в «жесткие ворота».
Однако, по данным Cloudflare, только около 37% из 10000 лучших доменных имен имеют файл robots.txt.
Установите уровни для AI-паука | Источник изображения: Cloudflare
Если вы хотите участвовать в платном рынке краулинга Cloudflare, как краулер, так и объект краулинга должны открыть учетные записи Cloudflare. На сегодняшний день «Оплата за краулинг» все еще находится на стадии внутреннего тестирования, в нем участвуют только некоторые крупные издатели, такие как BuzzFeed, «Atlantic Monthly» и «Fortune», Cloudflare продолжает открыто запрашивать заинтересованных создателей контента и краулеров.
«Мы ожидаем значительного развития модели оплаты по мере использования», — заявляет компания Cloudflare.
Хотя на данный момент это еще на начальной стадии, компания имеет много планов на будущее. Например, издатели или другие учреждения могут взимать разные сборы в зависимости от типа контента, или устанавливать динамическое ценообразование в зависимости от количества пользователей AI-приложений, или вводить более детализированные ценовые стратегии в зависимости от таких областей, как обучение, выводы, поиск и так далее.
Они также считают, что настоящий потенциал оплачиваемых по количеству запросов пауков может проявиться в мире интеллектуальных агентов Agent.
«Что если интеллектуальный агент сможет полностью работать программным образом за платный доступ? Представьте, что вы можете попросить своего помощника по глубинным исследованиям помочь вам собрать последние исследования по раку, юридические сводки или найти лучшие рестораны — а затем выделить этому интеллектуальному агенту бюджет для получения самой полезной и актуальной информации.»
«Первое решение, основанное на коде ответа HTTP 402, откроет будущее, в котором умный агент сможет программно вести переговоры о доступе к цифровым ресурсам», — заявила Cloudflare.
03
Перекресток Интернета
С экономической точки зрения это может быть началом «переговоров о распределении доходов» между ИИ и широким кругом создателей контента.
Сейчас только крупные медиа могут вести переговоры с AI-компаниями о лицензировании (например, Нью-Йорк Таймс смогли достичь соглашения с OpenAI только после того, как опубликовали новость), подавляющее большинство малых и средних сайтов, форумов и даже отдельных авторов «молча удаляются», не имея силы сопротивляться или даже осознания этого. Решение Cloudflare на самом деле может распространить такую переговорную силу на более широкий круг сайтов.
Согласно команде Cloudflare, они провели сотни разговоров с новостными агентствами, издателями и крупными социальными медиа-платформами, и все они единодушно «希望 разрешить ИИ-сканерам доступ к своему контенту, но хотят получить за это вознаграждение».
Для сторонников модель «Оплата за краулинг» в концепции выглядит «справедливо»: создатели получают доход, компании ИИ избегают юридических рисков, что в долгосрочной перспективе может способствовать более соблюдающим правила лицензированию контента в целом.
Источник изображения: Cloudflare
Конечно, компании ИИ могут быть не рады, что интернет-данные больше не бесплатны, чтобы получить новый контент, нужно тратить деньги, что означает дополнительные затраты помимо вычислительной мощности.
С другой стороны, это может также подавить чрезмерный сбор данных и заставить разработчиков моделей ИИ быть более избирательными в отношении данных — например, целенаправленно приобретать высококачественный контент, а не заполнять модели разнообразным контентом с различных сайтов.
Мэтью Принс заявил: «AI-движок похож на швейцарский сыр, а действительно способным заполнить дыры в этом сыре является новый оригинальный контент, который более ценен, чем повторяющийся, низкокачественный контент, занимающий большую часть пространства в сети».
По его мнению, трафик не может точно измерять ценность контента. «Если мы сможем начать оценивать и оценивать контент не по тому, сколько трафика он генерирует, а по тому, насколько он способствует знаниям (измеряя это по тому, сколько существующих дыр в «швейцарском сыре» AI-движка он заполняет) — мы не только сможем помочь AI-движку быстрее развиваться, но и, возможно, способствовать новому золотому веку создания высокоценных материалов.»
Тем не менее, защитники цифровых прав могут задаться вопросом: смогут ли небольшие AI стартапы, исследователи и открытые сообщества понести такие расходы на данные? Будут ли академические исследования и общественные архивы, эти «позитивные пауки», в затруднительном положении, имея доступ только к ограниченным, низкоценным источникам данных?
В условиях снижения доходов от рекламы и роста стоимости трафика, сколько сайтов будет готово бесплатно открыться для AI-пауков? Не станет ли это началом "закрытости", лишающим интернет его духа свободы и共享?
Если вся сеть по умолчанию заблокирует плату, не приведет ли это непреднамеренно к усилению «монополии крупных компаний»? В конце концов, у крупных компаний больше денег.
Модель «Pay Per Crawl» с одной стороны пытается решить проблему содержания, которое потребляется ИИ, но не возвращается обратно, а с другой стороны, возможно, непреднамеренно повышает барьер для инноваций ИИ, возвращая нас к старой теме защиты авторских прав и открытости знаний.
Конечно, Cloudflare просто предоставляет сайтам больше автономии. Владельцы сайтов полностью могут выбирать, чтобы продолжать предоставлять бесплатный доступ для общественных и некоммерческих проектов. Власть по-прежнему в руках создателей. В любом случае, они заслуживают «компенсации».
По словам генерального директора Cloudflare, цель этой трансформации заключается в том, чтобы «создать лучший интернет». «Мы еще не знаем всех ответов, но мы работаем с некоторыми из лучших экономистов и компьютерных ученых, чтобы найти ответы.»
На данный момент другие CDN и поставщики безопасности (такие как Akamai, Fastly, Amazon CloudFront) еще не объявили о подобных функциях.
Заблокируйте AI-робота-паука у двери｜Источник изображения: Cloudflare
Хотя «Pay Per Crawl» от Cloudflare выглядит как новая функция CDN-продукта, с какой-то точки зрения:
Это может стать сигналом о том, что Интернет подошел к развилке.
В эпоху поиска ценность контента преобразуется в рекламный доход через доступ пользователей. Но в эпоху ИИ пользователи могут вообще не заходить на сайт — все ответы суммируются и генерируются в чат-ботах. Должны ли мы продолжать позволять большим моделям ИИ бесплатно извлекать контент из сети, или вернуться к принципу "взаимной выгоды" в получении данных, чтобы создатели получали заслуженное вознаграждение? И сколько может составлять это вознаграждение?
Этот ранний эксперимент может прокладывать путь к новой экономической форме данных в эпоху ИИ, независимо от успеха или неудачи, его позиция ясна: ИИ не может бесконечно истощать терпение создателей и превращать труд людей в бесплатное топливо под предлогом "открытости".
«Сеть претерпевает изменения, и её бизнес-модель также изменится. В этом процессе у нас есть возможность извлечь уроки из хороших моментов последних 30 лет, чтобы сделать её лучше в будущем.»
Что касается того, действительно ли дела могут стать лучше, как признал сам Cloudflare:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
«Кибер-Бодхисаттва» вступает в силу, эпоха «бесплатного обеда» для гигантов ИИ закончилась.
Маск и Трамп, эта пара белоусых «двойных танцев» в последнее время вступила в новую эпоху «словесной войны» 2.0. Похожими на эту пару весёлых врагов являются отношения между зарубежными издательскими группами и гигантами ИИ — с одной стороны, крупные издатели хотят сотрудничать с ИИ-компаниями, с другой стороны, некоторые издатели клянутся довести гигантов ИИ до банкротства.
Согласно данным, после появления AI поиска и ChatGPT глобальный трафик сайтов снижается; с другой стороны, «AI-пауки» гигантов AI игнорируют протоколы пауков и продолжают массово захватывать данные всех сайтов.
В это время, наконец, одна строительная компания вышла на сцену и, взяв за руку создателей контента, сказала: «Мы можем сказать нет гигантам ИИ!»
Cloudflare, гигант интернет-инфраструктуры, контролирующий около 20% мирового интернет-трафика, который пользователи называют «кибер-бодхисатвой», запустил экспериментальный продукт и торговую площадку «Pay Per Crawl» в июле 2025 года — установив новые правила для AI-пауков:
Либо получите разрешение, либо заплатите.
Проще говоря, суть этой функции заключается в том, чтобы дать создателям контента на сайте возможность выбора «включить/выключить»: они могут выбрать разрешить AI-роботам свободный доступ, платить за каждое посещение или полностью заблокировать доступ.
Согласно словам основателя Cloudflare, «контент является топливом, которое питает AI-движок, поэтому справедливо, чтобы создатели контента получали прямое вознаграждение.»
Для AI-компаний, которые хотят продолжать собирать контент из интернета для обучения моделей, больше не получится «бесплатно наедаться», как это было раньше. Но это также не без плюсов, потому что оплата по фиксированным ценам может избежать проблем с авторским правом.
Может ли мера Cloudflare по «защите от ботов» смягчить произвольные атаки ИИ-сканеров? Что более важно, сможет ли эта компания использовать свое уникальное положение для создания новой модели распространения и монетизации контента в эпоху ИИ?
01
«Бесплатный обед» гигантов ИИ
В течение последних нескольких десятилетий большинство веб-страниц по умолчанию были открытыми для индексации. Поисковые системы, такие как Google и Bing, приносят трафик на сайты, и с этим трафиком сайты могут монетизироваться через рекламу или продажу подписок — это скрытый контракт эпохи поиска.
В эпоху ИИ традиционный трафик поиска резко упал, и чем больше мы считаем, тем больше теряем.
AI компании используют контент всего Интернета в качестве тренировочного топлива, но почти не возвращают большую часть вознаграждений создателям. Когда пользователи прямо задают вопросы в AI-чат-боте, ответы зачастую основаны на обобщенном контенте, а не на десятках синих ссылок, что не приносит сайту больше трафика.
Даже такие гиганты поиска, как Google, сами меняются. Ранее они предоставляли списки ссылок на сайты, а сегодня на странице поиска они представили «Обзор искусственного интеллекта». Согласно их отчету, 75% пользователей запросов получают ответы, не нажимая на какие-либо ссылки.
Согласно последним данным Cloudflare за июль 2025 года: паук Google приносит сайту примерно 1 клик за каждые 6-7 захватов, в то время как OpenAI получает 1 переход только за 1500 раз, а соотношение Anthropic еще более экстравагантное — целых 73300 раз за 1 переход.
Доля кликов, которую AI-роботы крупных компаний приносят для сайтов при каждом сканировании｜Источник изображения: Cloudflare
Это означает, что традиционная модель «контент в обмен на трафик» больше не работает. В отличие от традиционных поисковых систем, гиганты ИИ поглощают огромное количество контента с сайтов, но не обеспечивают «поток», и это несоответствие делает для некоторых производителей контента все более трудным существование.
«С OpenAI получить трафик на сайт стало в 750 раз сложнее, чем в эпоху Google, а с Anthropic — в 30000 раз сложнее. Причина проста: мы всё меньше потребляем оригинальный контент и всё больше его производные.» Генеральный директор Cloudflare Мэтью Принс в блоге заявил: «Это не честная сделка».
У компаний ИИ также есть цена за сбор данных. В последние два года гиганты ИИ постоянно обвиняются в «кражи контента» для обучения больших моделей, что вызвало глобальную волну судебных исков по авторским правам, особенно со стороны таких новостных агентств, как New York Times, и постоянные иски против OpenAI.
Активный AI-робот-паутина крупных компаний｜Источник изображения: Cloudflare
Таким образом, Cloudflare запустил «Pay Per Crawl», создав рынок «платного заезда», который как раз и пытается решить эту проблему.
Компания разработала систему управления доступом и платежей, на сайте можно в后台 выбрать для AI-робота "разрешить, заблокировать или взимать плату". Если AI-робот хочет получить доступ к содержимому сайта, он должен зарегистрироваться, подтвердить свою личность и осуществить платеж при каждом посещении.
Если все пройдет гладко, эта модель сможет перевести сетевое содержание от «монетизации рекламы» к «монетизации контента», открывая новые источники дохода. Независимо от того, крупные ли это медиа или малозначительные блоги, в эпоху ИИ все смогут иметь право на торг, получая оплату за использование от ИИ.
Чтобы подчеркнуть его значение, генеральный директор Cloudflare также назвал день запуска «Pay Per Crawl» следующим образом:
«День независимости контента».
02
Как взимается «плата за проезд» AI?
Конечно, мечты прекрасны, но как технологии реализуются на практике?
Компания Cloudflare начинала с предоставления услуг CDN, защиты от DDoS, DNS и безопасности с нулевым доверием. Она развернула узлы более чем в 300 городах мира и обрабатывает около 20% веб-трафика, что облегчает ее роль «посредника».
«Pay Per Crawl» основан на промежуточном слое его глобальной CDN сети: он может распознавать и обрабатывать AI-роботов до того, как запросы доступа поступят на исходный сервер. Владельцы сайтов могут настроить три режима в панели управления Cloudflare: разрешить, взимать плату, заблокировать.
Администратор может настроить разрешение, плату или блокировку в панели управления｜Источник изображения: Cloudflare
Все новые сайты, добавленные в Cloudflare, по умолчанию блокируют AI-краулеры, если администратор сайта не разрешит это. Только AI-компании, которые установили партнерские отношения с Cloudflare, могут участвовать в механизме платежей, иначе они будут заблокированы.
Если AI-сканер делает запрос к платному URL, не оплатив его, Cloudflare вернет статус код HTTP 402 Payment Required — код состояния, который ранее почти никто не использовал и который специально был зарезервирован для «онлайн-платежей». AI-сканер может включить информацию о платеже в запрос, чтобы выразить согласие на оплату установленной цены, и как только цена совпадет, доступ будет предоставлен с ответом 200 OK, и произойдет автоматический расчет.
Cloudflare сам по себе является «кассой» этой сделки, отвечая за агрегирование счетов и распределение доходов.
Cloudflare вернёт статус-код HTTP 402 Payment Required｜Источник изображения: Cloudflare
Пауки могут включать платежную информацию в запросе｜Источник изображения: Cloudflare
HTTP 200 OK ответ подтверждает оплату｜Источник изображения： Cloudflare
Более того, это не может быть обойдено простым обманом User-Agent. Cloudflare требует от AI компаний регистрации ключа и цифровой подписи для подтверждения их идентичности. Это также сделано для предотвращения того, чтобы «поддельные пауки» выдавали себя за законопослушных и уклонялись от платежей.
Ранее файл robots.txt был простым текстовым файлом, размещенным в корневом каталоге сайта, который сообщал паучкам поисковых систем, какие страницы можно индексировать, а какие нет, но это всего лишь «вежливое предложение» для сайта, и многие AI-пауки просто игнорируют его. Решение от Cloudflare изменило это, превратив существующие «мягкие ограничения» на основе robots.txt в «жесткие ворота».
Однако, по данным Cloudflare, только около 37% из 10000 лучших доменных имен имеют файл robots.txt.
Установите уровни для AI-паука | Источник изображения: Cloudflare
Если вы хотите участвовать в платном рынке краулинга Cloudflare, как краулер, так и объект краулинга должны открыть учетные записи Cloudflare. На сегодняшний день «Оплата за краулинг» все еще находится на стадии внутреннего тестирования, в нем участвуют только некоторые крупные издатели, такие как BuzzFeed, «Atlantic Monthly» и «Fortune», Cloudflare продолжает открыто запрашивать заинтересованных создателей контента и краулеров.
«Мы ожидаем значительного развития модели оплаты по мере использования», — заявляет компания Cloudflare.
Хотя на данный момент это еще на начальной стадии, компания имеет много планов на будущее. Например, издатели или другие учреждения могут взимать разные сборы в зависимости от типа контента, или устанавливать динамическое ценообразование в зависимости от количества пользователей AI-приложений, или вводить более детализированные ценовые стратегии в зависимости от таких областей, как обучение, выводы, поиск и так далее.
Они также считают, что настоящий потенциал оплачиваемых по количеству запросов пауков может проявиться в мире интеллектуальных агентов Agent.
«Что если интеллектуальный агент сможет полностью работать программным образом за платный доступ? Представьте, что вы можете попросить своего помощника по глубинным исследованиям помочь вам собрать последние исследования по раку, юридические сводки или найти лучшие рестораны — а затем выделить этому интеллектуальному агенту бюджет для получения самой полезной и актуальной информации.»
«Первое решение, основанное на коде ответа HTTP 402, откроет будущее, в котором умный агент сможет программно вести переговоры о доступе к цифровым ресурсам», — заявила Cloudflare.
03
Перекресток Интернета
С экономической точки зрения это может быть началом «переговоров о распределении доходов» между ИИ и широким кругом создателей контента.
Сейчас только крупные медиа могут вести переговоры с AI-компаниями о лицензировании (например, Нью-Йорк Таймс смогли достичь соглашения с OpenAI только после того, как опубликовали новость), подавляющее большинство малых и средних сайтов, форумов и даже отдельных авторов «молча удаляются», не имея силы сопротивляться или даже осознания этого. Решение Cloudflare на самом деле может распространить такую переговорную силу на более широкий круг сайтов.
Согласно команде Cloudflare, они провели сотни разговоров с новостными агентствами, издателями и крупными социальными медиа-платформами, и все они единодушно «希望 разрешить ИИ-сканерам доступ к своему контенту, но хотят получить за это вознаграждение».
Для сторонников модель «Оплата за краулинг» в концепции выглядит «справедливо»: создатели получают доход, компании ИИ избегают юридических рисков, что в долгосрочной перспективе может способствовать более соблюдающим правила лицензированию контента в целом.
Источник изображения: Cloudflare
Конечно, компании ИИ могут быть не рады, что интернет-данные больше не бесплатны, чтобы получить новый контент, нужно тратить деньги, что означает дополнительные затраты помимо вычислительной мощности.
С другой стороны, это может также подавить чрезмерный сбор данных и заставить разработчиков моделей ИИ быть более избирательными в отношении данных — например, целенаправленно приобретать высококачественный контент, а не заполнять модели разнообразным контентом с различных сайтов.
Мэтью Принс заявил: «AI-движок похож на швейцарский сыр, а действительно способным заполнить дыры в этом сыре является новый оригинальный контент, который более ценен, чем повторяющийся, низкокачественный контент, занимающий большую часть пространства в сети».
По его мнению, трафик не может точно измерять ценность контента. «Если мы сможем начать оценивать и оценивать контент не по тому, сколько трафика он генерирует, а по тому, насколько он способствует знаниям (измеряя это по тому, сколько существующих дыр в «швейцарском сыре» AI-движка он заполняет) — мы не только сможем помочь AI-движку быстрее развиваться, но и, возможно, способствовать новому золотому веку создания высокоценных материалов.»
Тем не менее, защитники цифровых прав могут задаться вопросом: смогут ли небольшие AI стартапы, исследователи и открытые сообщества понести такие расходы на данные? Будут ли академические исследования и общественные архивы, эти «позитивные пауки», в затруднительном положении, имея доступ только к ограниченным, низкоценным источникам данных?
В условиях снижения доходов от рекламы и роста стоимости трафика, сколько сайтов будет готово бесплатно открыться для AI-пауков? Не станет ли это началом "закрытости", лишающим интернет его духа свободы и共享?
Если вся сеть по умолчанию заблокирует плату, не приведет ли это непреднамеренно к усилению «монополии крупных компаний»? В конце концов, у крупных компаний больше денег.
Модель «Pay Per Crawl» с одной стороны пытается решить проблему содержания, которое потребляется ИИ, но не возвращается обратно, а с другой стороны, возможно, непреднамеренно повышает барьер для инноваций ИИ, возвращая нас к старой теме защиты авторских прав и открытости знаний.
Конечно, Cloudflare просто предоставляет сайтам больше автономии. Владельцы сайтов полностью могут выбирать, чтобы продолжать предоставлять бесплатный доступ для общественных и некоммерческих проектов. Власть по-прежнему в руках создателей. В любом случае, они заслуживают «компенсации».
По словам генерального директора Cloudflare, цель этой трансформации заключается в том, чтобы «создать лучший интернет». «Мы еще не знаем всех ответов, но мы работаем с некоторыми из лучших экономистов и компьютерных ученых, чтобы найти ответы.»
На данный момент другие CDN и поставщики безопасности (такие как Akamai, Fastly, Amazon CloudFront) еще не объявили о подобных функциях.
Заблокируйте AI-робота-паука у двери｜Источник изображения: Cloudflare
Хотя «Pay Per Crawl» от Cloudflare выглядит как новая функция CDN-продукта, с какой-то точки зрения:
Это может стать сигналом о том, что Интернет подошел к развилке.
В эпоху поиска ценность контента преобразуется в рекламный доход через доступ пользователей. Но в эпоху ИИ пользователи могут вообще не заходить на сайт — все ответы суммируются и генерируются в чат-ботах. Должны ли мы продолжать позволять большим моделям ИИ бесплатно извлекать контент из сети, или вернуться к принципу "взаимной выгоды" в получении данных, чтобы создатели получали заслуженное вознаграждение? И сколько может составлять это вознаграждение?
Этот ранний эксперимент может прокладывать путь к новой экономической форме данных в эпоху ИИ, независимо от успеха или неудачи, его позиция ясна: ИИ не может бесконечно истощать терпение создателей и превращать труд людей в бесплатное топливо под предлогом "открытости".
«Сеть претерпевает изменения, и её бизнес-модель также изменится. В этом процессе у нас есть возможность извлечь уроки из хороших моментов последних 30 лет, чтобы сделать её лучше в будущем.»
Что касается того, действительно ли дела могут стать лучше, как признал сам Cloudflare:
«Это всего лишь начало.»