Le « Bouddha cybernétique » fait des ravages, l'ère du « déjeuner gratuit » des géants de l'IA est terminée.

Elon Musk et Donald Trump, ce duo de la Maison Blanche, a récemment porté leur « guerre des mots » à l'ère 2.0. Comme ce couple de rivaux joyeux, il y a aussi des relations tumultueuses entre les groupes d'éditeurs étrangers et les géants de l'IA - d'une part, de grands éditeurs souhaitent collaborer avec des entreprises d'IA, d'autre part, certains éditeurs jurent de ruiner les géants de l'IA par des poursuites.

Selon les données, depuis l'apparition de la recherche par IA et de ChatGPT, le trafic des sites Web dans le monde entier est en déclin ; d'autre part, les géants de l'IA, avec leurs « robots d'IA », ignorent les protocoles de robots et continuent de ronger les données de tous les sites avec des milliers de récupérations.

À ce moment-là, une entreprise d'infrastructure a enfin pris la parole, prenant la main des créateurs de contenu et disant : « Nous pouvons dire non aux géants de l'IA ! »

Cloudflare, ce géant des infrastructures Internet qui contrôle environ 20 % du trafic mondial, est surnommé par les internautes la « Bodhisattva du cyberespace ». En juillet 2025, il a lancé un produit expérimental et un marché de trading : « Pay Per Crawl » — établissant de nouvelles règles pour les crawlers AI :

Soit obtenir une licence, soit payer.

En termes simples, l'essence de cette fonctionnalité est de donner aux créateurs de contenu du site une option "interrupteur": ils peuvent choisir de permettre aux robots AI d'accéder librement, de facturer par visite, ou de bloquer directement l'accès.

Selon le fondateur de Cloudflare, « le contenu est le carburant qui alimente le moteur de l'IA, donc il est juste que les créateurs de contenu soient rémunérés directement. »

Pour les entreprises d'IA, vouloir continuer à extraire du contenu sur Internet pour entraîner des modèles ne peut plus se faire comme avant en « mangeant gratuitement à la grande table ». Mais il n'y a pas que des inconvénients, car payer selon un prix clairement établi peut éviter les problèmes de droits d'auteur.

La mesure "anti-bot" de Cloudflare peut-elle atténuer les attaques indiscriminées des crawlers AI ? Plus important encore, cette entreprise peut-elle tirer parti de sa position unique pour établir un tout nouveau modèle de distribution et de monétisation de contenu à l'ère de l'IA ?

01

Le « déjeuner gratuit » des géants de l'IA

Au cours des dernières décennies, la plupart des pages Web étaient par défaut accessibles à l'indexation. Des moteurs de recherche comme Google et Bing apportent du trafic aux sites Web, et avec ce trafic, les sites peuvent monétiser via des publicités ou des ventes d'abonnements - c'est le contrat implicite de l'ère de la recherche.

À l'ère de l'IA, le trafic de recherche traditionnel chute rapidement, et ce calcul devient de plus en plus désavantageux.

Les entreprises d'IA considèrent le contenu de l'ensemble du réseau comme combustible d'entraînement, mais ne donnent presque rien en retour à la plupart des créateurs. Lorsque les utilisateurs posent des questions directement dans le chatbot IA, les réponses proviennent souvent de contenus résumés, et non de dizaines de liens bleus, ce qui n'apporte pas plus de trafic aux sites.

Même des géants de la recherche comme Google évoluent. Auparavant, ils fournissaient des listes de liens vers des sites Web, mais aujourd'hui, ils ont lancé un « aperçu de l'intelligence artificielle » sur leur page de recherche. Selon leur rapport, 75 % des utilisateurs de requêtes obtiennent des réponses sans avoir à cliquer sur aucun lien.

Les dernières données de Cloudflare de juillet 2025 montrent que : le robot de Google rapporte environ 1 clic pour 6 à 7 captures de site, tandis qu'OpenAI n'apporte qu'un seul saut pour 1500 captures, et le ratio d'Anthropic est encore plus exagéré, atteignant 1 pour 73300.

Le ratio de clics apporté par les crawlers AI des grandes entreprises lors de chaque extraction | Source de l'image : Cloudflare

Cela signifie que le modèle traditionnel de "contenu contre trafic" est devenu obsolète. Contrairement aux moteurs de recherche traditionnels, les géants de l'IA ont absorbé une quantité massive de contenu de sites Web, mais n'offrent pas de "flux", ce déséquilibre rend la vie de certains producteurs de contenu de plus en plus difficile.

« Avec OpenAI, il est 750 fois plus difficile d'attirer du trafic sur un site qu'à l'époque de Google, et avec Anthropic, la difficulté atteint même 30 000 fois. La raison est simple : nous consommons de moins en moins de contenu original, mais de plus en plus de ses dérivés. » Le PDG de Cloudflare, Matthew Prince, a déclaré dans un article de blog : « Ce n'est pas un échange équitable. »

Les entreprises d'IA ne collectent pas de données sans coût, ces deux dernières années, les géants de l'IA ont été accusés de "voler du contenu" pour entraîner de grands modèles, provoquant une vague de poursuites pour violation des droits d'auteur à l'échelle mondiale, en particulier avec des médias comme le New York Times et OpenAI qui sont en constante poursuite.

Robot d'exploration AI actif des grandes entreprises|Source de l'image : Cloudflare

Ainsi, Cloudflare a lancé « Pay Per Crawl », établissant un marché de « crawl payant à la séance », qui vise à résoudre ce problème.

L'entreprise a conçu un système d'autorisation et de paiement, où le site peut choisir en arrière-plan d'"autoriser, bloquer ou facturer" le robot AI. Si le robot AI souhaite extraire le contenu de ce site, il doit s'inscrire, vérifier son identité et effectuer un paiement à chaque accès.

Si tout se passe bien, ce modèle permettra aux contenus en ligne de passer de la « monétisation publicitaire » à la « monétisation par l'autorisation de contenu », ouvrant de nouvelles sources de revenus. Que ce soit pour de grands médias ou de petits blogs peu connus, tous pourront avoir un pouvoir de négociation à l'ère de l'IA, étant payés par l'IA pour leur utilisation.

Pour souligner son importance, le PDG de Cloudflare a également qualifié le jour du lancement de « Pay Per Crawl » de :

« Le jour de l'indépendance du contenu ».

02

Comment les "péages" de l'IA sont-ils perçus ?

Bien sûr, l'idée est belle, mais comment la technologie se concrétise-t-elle ?

La société Cloudflare a été fondée sur la fourniture de services tels que CDN, protection DDoS, DNS et sécurité Zero Trust. Elle a déployé des nœuds dans plus de 300 villes à travers le monde, supportant environ 20 % du trafic Web, ce qui lui a facilité son rôle d'« intermédiaire ».

«Pay Per Crawl» est construit sur le niveau intermédiaire de son réseau CDN mondial : il peut identifier et traiter les crawlers d'IA avant que les requêtes d'accès n'atteignent le serveur d'origine. Les webmasters peuvent définir trois modes dans le tableau de bord Cloudflare : autoriser, facturer, bloquer.

Le propriétaire du site peut définir dans le back-end les autorisations, les frais ou les blocages | Source de l'image : Cloudflare

Tous les sites Web qui rejoignent Cloudflare bloquent par défaut les robots d'IA, sauf si le webmaster le permet explicitement. Seules les entreprises d'IA ayant établi un partenariat avec Cloudflare peuvent participer au mécanisme de paiement, sinon elles seront bloquées.

Si un robot AI envoie une demande à une URL payante sans avoir payé, Cloudflare renverra le code d'état HTTP 402 Payment Required - un code d'état presque jamais utilisé dans le passé, réservé spécialement pour les « paiements en ligne ». Le robot AI peut inclure des informations de paiement dans la demande pour indiquer son accord à payer le prix configuré ; une fois le prix correspondant, l'accès est accordé avec un retour 200 OK et le règlement est effectué automatiquement.

Cloudflare est en fait le "terminal de paiement" de cette transaction, responsable de l'agrégation des factures et de la distribution des revenus.

Cloudflare renverra le code d'état HTTP 402 Payment Required|Source de l'image : Cloudflare

Les robots peuvent inclure des informations de paiement dans la requête|Source de l'image : Cloudflare

HTTP 200 OK réponse de confirmation de facturation|Source de l'image : Cloudflare

Plus important encore, cela ne peut pas être contourné simplement par une tromperie sur l'User-Agent. Cloudflare exige que les entreprises d'IA s'enregistrent avec une clé, garantissant leur identité par une signature numérique. Cela vise également à empêcher les « araignées contrefaites » de se faire passer pour des conformistes afin d'échapper au paiement.

Dans le passé, le fichier robots.txt était un fichier texte brut placé à la racine du site web, utilisé pour indiquer aux robots des moteurs de recherche quelles pages pouvaient être explorées et lesquelles ne pouvaient pas l'être, mais il ne s'agissait que d'une « suggestion polie » du site web, que de nombreux robots d'IA ignoraient complètement. La solution de Cloudflare a changé cela, transformant le « soft constraint » basé sur robots.txt en « hard gate ».

Cependant, selon Cloudflare, parmi les 10 000 premiers domaines, seulement environ 37 % possèdent un fichier robots.txt.

Configurer des niveaux pour les araignées AI|Source de l'image : Cloudflare

Si vous souhaitez participer au marché payant de crawl de Cloudflare, les crawlers et les sites crawlés doivent tous deux créer un compte Cloudflare. À ce jour, « Pay Per Crawl » est encore en phase de test, avec uniquement quelques grands éditeurs participants, tels que BuzzFeed, The Atlantic et Fortune. Cloudflare continue également à recruter publiquement des créateurs de contenu et des crawlers intéressés.

« Nous prévoyons un développement significatif du modèle de paiement à l'utilisation. » a déclaré Cloudflare.

Bien qu'il soit encore à un stade précoce, l'entreprise a de nombreuses idées pour l'avenir. Par exemple, les éditeurs ou d'autres institutions pourraient facturer des frais différents en fonction des types de contenu, ou appliquer une tarification dynamique selon le nombre d'utilisateurs des applications d'IA, ou introduire des stratégies de tarification plus granulaires en fonction de différents domaines tels que l'entraînement, l'inférence, la recherche, etc.

Ils pensent également que le véritable potentiel des robots payés à l'utilisation pourrait se manifester dans le monde des agents intelligents.

« Que se passerait-il si un mur de paiement d'agent intelligent pouvait fonctionner entièrement de manière programmatique ? Imaginez que vous puissiez demander à votre assistant de recherche approfondie de vous rassembler les dernières recherches sur le cancer, des briefs juridiques, ou de vous aider à trouver les meilleurs restaurants - puis de donner à cet agent intelligent un budget pour obtenir le contenu le plus utile et le plus pertinent. »

« La première solution basée sur le code de réponse HTTP 402 ouvrira la voie à un avenir où un agent intelligent pourra négocier de manière programmatique l'accès aux ressources numériques. » a déclaré Cloudflare.

03

Au croisement d'Internet

D'un point de vue économique, cela pourrait être le début d'une "renégociation des revenus" entre l'IA et les nombreux créateurs de contenu.

Aujourd'hui, seules les grandes médias peuvent négocier des licences avec les entreprises d'IA (par exemple, le New York Times a conclu un accord avec OpenAI après avoir rapporté sur eux), la grande majorité des petits et moyens sites web, forums, voire des auteurs individuels, sont « silencieusement grattés », sans aucune capacité de résistance, ou plutôt sans conscience. La solution de Cloudflare peut en réalité étendre ce pouvoir de négociation à un plus grand nombre de sites web.

Selon l'équipe de Cloudflare, ils ont eu des centaines de conversations avec des agences de presse, des éditeurs et de grandes plateformes de médias sociaux, qui ont tous exprimé le souhait « d'autoriser les robots d'IA à accéder à leur contenu, mais souhaitent être rémunérés. »

Pour les partisans, le modèle « Pay Per Crawl » est, en théorie, très « équitable » : les créateurs ont des revenus, les entreprises d'IA évitent les risques juridiques, et à long terme, cela peut aider l'ensemble de l'industrie à se diriger vers une licence de contenu plus conforme.

Source de l'image : Cloudflare

Bien sûr, les entreprises d'IA ne sont peut-être pas heureuses, les données sur Internet ne sont plus gratuites, pour obtenir de nouveaux contenus, il faut dépenser de l'argent, ce qui signifie que les éléments de coût au-delà de la puissance de calcul doivent être pris en compte.

Mais d'un autre côté, cela pourrait également freiner le scraping excessif et obliger les développeurs de modèles d'IA à être plus sélectifs dans leurs données - par exemple, à acheter des contenus de haute valeur de manière ciblée, plutôt que de nourrir le modèle avec du contenu de divers sites sans discernement.

Matthew Prince a déclaré : « Le moteur d'IA est comme un fromage suisse, le véritable contenu original qui peut vraiment combler les trous de ce fromage est plus précieux que le contenu répétitif et de faible valeur qui occupe la majeure partie de l'espace en ligne aujourd'hui. »

Selon lui, le trafic n'a jamais pu mesurer avec précision la valeur du contenu. « Si nous pouvions commencer à évaluer le contenu non pas en fonction du trafic qu'il génère, mais en fonction de son degré de promotion des connaissances (en mesurant combien de trous existants dans le « fromage suisse » des moteurs d'IA il comble) — nous pourrions non seulement aider les moteurs d'IA à progresser plus rapidement, mais aussi favoriser une nouvelle ère d'or pour la création de contenu de haute valeur. »

Cependant, les défenseurs des droits numériques pourraient faire valoir que de petites start-ups en IA, des chercheurs et des communautés open source peuvent-elles supporter de tels coûts de données ? La recherche académique et l'archivage à but non lucratif, ces "araignées bénéfiques", seront-elles incapables d'avancer, ne pouvant accéder qu'à des sources de données limitées et de faible valeur ?

Dans un contexte où les revenus publicitaires diminuent et où le coût du trafic augmente, combien de sites seraient prêts à ouvrir leurs portes gratuitement aux araignées IA pour se nourrir ? Cela marquera-t-il le début de la "fermeture" et fera-t-il perdre à Internet son esprit de liberté et de partage ?

Si l'ensemble du réseau bloque par défaut les frais, cela pourrait-il exacerber involontairement le « monopole des grandes entreprises » ? Après tout, les grandes entreprises ont plus d'argent.

Le mode « Pay Per Crawl » tente d'une part de résoudre le problème du contenu vampirisé par l'IA sans retour sur investissement, et d'autre part, pourrait également, sans le vouloir, élever le seuil d'innovation de l'IA, revenant ainsi à l'ancienne problématique de la protection des droits d'auteur et de l'ouverture des connaissances.

Bien sûr, Cloudflare donne simplement plus d'autonomie aux sites web. Les propriétaires de sites peuvent tout à fait choisir de continuer à offrir gratuitement des projets à but non lucratif. Le pouvoir reste entre les mains des créateurs. Quoi qu'il en soit, ils méritent d'être « compensés ».

Selon le PDG de Cloudflare, l'objectif de cette transformation est de « construire un meilleur Internet ». « Nous ne connaissons pas encore toutes les réponses, mais nous collaborons avec certains des meilleurs économistes et informaticiens pour les trouver. »

Actuellement, d'autres fournisseurs de CDN et de sécurité (comme Akamai, Fastly, Amazon CloudFront) n'ont pas encore annoncé de fonctionnalités similaires.

Empêcher le robot d'exploration AI d'entrer|Source de l'image : Cloudflare

Bien que la fonction « Pay Per Crawl » de Cloudflare semble n'être qu'une nouvelle fonctionnalité d'un produit CDN, d'une certaine manière :

Cela pourrait être un signal que l'Internet arrive à un carrefour.

À l'ère de la recherche, la valeur du contenu se traduit par les revenus publicitaires générés par l'accès des utilisateurs. Mais à l'ère de l'IA, les utilisateurs pourraient ne plus cliquer sur les sites Web du tout - toutes les réponses sont générées et résumées par des chatbots. Devons-nous continuer à laisser les grands modèles d'IA explorer gratuitement le contenu du web, ou devons-nous revenir au principe de "réciprocité" en matière d'acquisition de données, permettant aux créateurs de recevoir la compensation qui leur revient ? Quelle compensation pourrait-il y avoir ?

Cette expérience précoce pourrait ouvrir la voie à une nouvelle forme d'économie de données à l'ère de l'IA. Quoi qu'il en soit, sa position est claire : l'IA ne peut pas épuiser indéfiniment la patience des créateurs et transformer le travail humain en combustible gratuit sous le prétexte de "l'ouverture".

« Le réseau est en train de se transformer, et son modèle commercial va également changer. Dans ce processus, nous avons l'opportunité d'apprendre des bonnes choses des 30 dernières années pour le rendre meilleur à l'avenir. »

En ce qui concerne la question de savoir si les choses peuvent vraiment s'améliorer, comme le reconnaît Cloudflare lui-même :

« Ce n'est que le début. »

Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Récompense
  • Commentaire
  • Partager
Commentaire
0/400
Aucun commentaire
  • Épingler
Trader les cryptos partout et à tout moment
qrCode
Scan pour télécharger Gate app
Communauté
Français (Afrique)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)