Musk e Trump, esta dupla de "guerra de palavras" na Casa Branca recentemente entrou na fase 2.0. Semelhante a este par de rivais engraçados, está a luta entre grupos de editores internacionais e gigantes da IA - por um lado, grandes editores querem colaborar com empresas de IA, por outro, há editores que juram fazer os gigantes da IA falirem.
De acordo com os dados, após o surgimento da pesquisa por IA e do ChatGPT, o tráfego global de sites tem diminuído; por outro lado, os gigantes da IA com seus "bots de IA" ignoram os protocolos de rastreamento, extraindo dados de todos os sites com dezenas de milhares de acessos.
Nesse momento, finalmente uma empresa de infraestrutura se apresentou e, segurando a mão dos criadores de conteúdo, disse: "Podemos dizer não aos gigantes da IA!"
Cloudflare, a giant in internet infrastructure that controls about 20% of global web traffic and is hailed by netizens as the "Cyber Bodhisattva", launched an experimental product and trading market in July 2025: "Pay Per Crawl" — establishing new rules for AI crawlers:
Ou obtenha permissão, ou pague.
Em termos simples, a essência desta funcionalidade é dar aos criadores de conteúdo do site uma opção "interruptor": podem escolher permitir que os crawlers de IA acessem livremente, cobrando por cada acesso, ou bloquear o acesso diretamente.
De acordo com o fundador da Cloudflare, "o conteúdo é o combustível que impulsiona os motores de IA, portanto, é justo que os criadores de conteúdo sejam compensados diretamente."
Para as empresas de IA, se quiserem continuar a capturar conteúdo da internet para treinar modelos, não poderão mais "comer à grande de graça" como antes. Mas também não é sem vantagens, pois ao pagar por um preço claramente definido, é possível evitar problemas de direitos autorais.
A medida "anti-bot" da Cloudflare pode aliviar os ataques desenfreados de crawlers de IA? Mais importante ainda, será que esta empresa consegue usar a sua posição única para estabelecer um novo modelo de distribuição de conteúdo e monetização na era da IA?
01
O "almoço grátis" dos gigantes da IA
Nas últimas décadas, a maioria das páginas da web eram por default públicas e "crawleáveis". Motores de busca como o Google e o Bing trazem tráfego para os sites; com o tráfego, os sites monetizam através de anúncios ou vendas de assinaturas - este é o contrato implícito da era de busca.
Na era da IA, o tráfego de busca tradicional caiu drasticamente, e essa conta só piora.
As empresas de IA usam o conteúdo da internet como combustível para treinamento, mas raramente oferecem retorno à maioria dos criadores. Quando os usuários fazem perguntas diretamente ao chatbot de IA, as respostas muitas vezes vêm de conteúdos resumidos, em vez de dezenas de links azuis, não trazendo mais tráfego para os sites.
Até mesmo gigantes de busca como o Google estão mudando; anteriormente, eles forneciam listas de links para sites, mas agora lançaram um "resumo de inteligência artificial" na página de busca. De acordo com seus relatórios, 75% dos usuários que fazem consultas obtêm respostas sem precisar clicar em nenhum link.
As últimas informações da Cloudflare de julho de 2025 mostram que: o crawler do Google traz cerca de 1 clique para o site a cada 6 a 7 capturas, enquanto a OpenAI leva 1500 capturas para conseguir 1 redirecionamento, e a proporção da Anthropic é ainda mais exagerada, chegando a 73300 capturas para 1.
A proporção de cliques que os crawlers de IA de grandes empresas trazem para os sites a cada captura | Fonte da imagem: Cloudflare
Isto significa que o tradicional modelo de "conteúdo em troca de tráfego" deixou de funcionar. Comparado aos motores de busca tradicionais, os gigantes da IA consumiram uma enorme quantidade de conteúdo de sites, mas não fornecem "tráfego", e este desequilíbrio torna cada vez mais difícil para alguns produtores de conteúdo sobreviver.
"Com a OpenAI, a dificuldade de obter tráfego na web é 750 vezes maior do que na era do Google, e com a Anthropic, a dificuldade chega a 30 mil vezes. A razão é simples: estamos cada vez menos a consumir conteúdo original e mais a consumir os seus derivados." O CEO da Cloudflare, Matthew Prince, afirmou em um post de blog, "isto não é um negócio justo."
As empresas de IA também pagam um preço por coletar dados, nos últimos dois anos os gigantes da IA foram acusados de "roubar conteúdo" para treinar grandes modelos, desencadeando uma onda de ações judiciais de direitos autorais em todo o mundo, especialmente entre instituições de notícias como o New York Times e a OpenAI.
Robô de rastreamento AI ativo de grandes empresas｜Fonte da imagem: Cloudflare
Assim, a Cloudflare lançou o "Pay Per Crawl", estabelecendo um mercado de "pagamento por rastreamento", que visa resolver exatamente este problema.
A empresa projetou um sistema de permissões e pagamentos, onde o site pode escolher no backend permitir, bloquear ou cobrar do rastreador de IA. Se o rastreador de IA quiser capturar o conteúdo do site, deve se registrar, verificar a identidade e efetuar o pagamento a cada visita.
Se tudo correr bem, este modelo pode permitir que o conteúdo da web passe de "monetização através de anúncios" para "monetização através de licenciamento de conteúdo", abrindo novas fontes de receita. Quer se trate de grandes meios de comunicação ou de pequenos blogs pouco conhecidos, todos poderão ter poder de negociação na era da IA, sendo pagos pela sua utilização.
Para enfatizar seu significado, o CEO da Cloudflare também chamou o dia do lançamento do "Pay Per Crawl" de:
"Dia da Independência do Conteúdo".
02
Como é cobrada a "taxa de passagem" de IA?
Claro, a ideia é bonita, mas como a tecnologia será implementada?
A Cloudflare começou por fornecer serviços como CDN, proteção DDoS, DNS e segurança de zero confiança. A empresa tem nós implantados em mais de 300 cidades ao redor do mundo, suportando cerca de 20% do tráfego da Web, o que facilita seu papel como "intermediário".
"Pay Per Crawl" é construído na camada intermediária da sua rede CDN global: ele pode identificar e processar crawlers de IA antes que as solicitações de acesso cheguem à origem. Os administradores podem definir três modos no painel do Cloudflare: permitir, cobrar, bloquear.
O administrador pode definir no painel de controlo permitir, cobrar ou bloquear | Fonte da imagem: Cloudflare
Todos os sites que se juntam ao Cloudflare bloqueiam por padrão os crawlers de IA, a menos que o proprietário do site permita ativamente. Apenas as empresas de IA que estabelecem uma parceria com o Cloudflare podem participar do mecanismo de pagamento, caso contrário, serão bloqueadas.
Se um crawler de IA fizer um pedido a uma URL paga sem ter pago, o Cloudflare retornará o código de status HTTP 402 Payment Required - um código de status que quase ninguém usava no passado, reservado especificamente para "pagamentos online". O crawler de IA pode incluir informações de pagamento na solicitação para indicar a concordância em pagar o preço definido; assim que o preço for correspondido, a solicitação será liberada, retornando 200 OK e a liquidação será feita automaticamente.
A Cloudflare é, portanto, a "caixa registradora" desta transação, responsável por agregar faturas e distribuir receitas.
A Cloudflare retornará o código de status HTTP 402 Payment Required｜Fonte da imagem: Cloudflare
Os crawlers podem incluir informações de pagamento na solicitação｜Fonte da imagem: Cloudflare
HTTP 200 OK resposta confirma cobrança｜Imagem cortesia: Cloudflare
Mais importante ainda, isso não pode ser contornado apenas com uma simples falsificação do User-Agent. A Cloudflare exige que as empresas de IA registrem uma chave, garantindo a identidade com uma assinatura digital. Isso também é para evitar que "crawleres falsificados" se façam passar por conformantes para escapar do pagamento.
No passado, o robots.txt era um arquivo de texto puro colocado na raiz do site, usado para informar aos crawlers dos motores de busca quais páginas podiam ser rastreadas e quais não podiam, mas era apenas uma "sugestão de cortesia" do site, muitos crawlers de IA simplesmente ignoravam. A solução da Cloudflare mudou isso, transformando as "restrições suaves" baseadas em robots.txt em "portões rígidos".
No entanto, segundo a Cloudflare, atualmente apenas cerca de 37% dos 10.000 principais domínios possuem um arquivo robots.txt.
Definir níveis para o robô de IA｜Fonte da imagem: Cloudflare
Se você deseja participar do mercado pago de rastreamento da Cloudflare, tanto o rastreador quanto o rastreado devem criar uma conta na Cloudflare. Até o momento, o "Pay Per Crawl" ainda está em fase de testes internos, com apenas alguns grandes editores participando, como BuzzFeed, The Atlantic e Fortune, e a Cloudflare continua a convocar publicamente criadores de conteúdo e rastreadores interessados.
"Prevemos um desenvolvimento significativo do modelo de pagamento por uso." afirmou a Cloudflare.
Embora ainda esteja em uma fase inicial, a empresa tem muitas ideias para o futuro. Por exemplo, editores ou outras instituições podem cobrar diferentes taxas para diferentes tipos de conteúdo, ou implementar preços dinâmicos com base no número de usuários de aplicações de IA, ou introduzir estratégias de precificação mais granulares com base em diferentes áreas como treinamento, inferência e pesquisa.
Eles também acreditam que o verdadeiro potencial dos crawlers pagos por uso pode se manifestar no mundo dos agentes inteligentes.
"E se o muro de pagamento do agente inteligente pudesse funcionar completamente de forma programática? Imagine que você pode pedir ao seu assistente de pesquisa aprofundada para ajudá-lo a organizar as pesquisas mais recentes sobre câncer, resumos legais ou encontrar os melhores restaurantes - e então dar a esse agente inteligente um orçamento para obter o conteúdo mais útil e relevante."
"A primeira solução baseada no código de resposta HTTP 402 abrirá um futuro onde um agente inteligente poderá negociar o acesso a recursos digitais de forma programática", afirmou a Cloudflare.
03
A encruzilhada da Internet
Do ponto de vista económico, isto pode ser o início de uma "nova negociação de rendimentos" entre a IA e os numerosos criadores de conteúdo.
Agora, apenas os grandes meios de comunicação podem negociar licenças com empresas de IA (por exemplo, o New York Times só chegou a um acordo após relatar sobre a OpenAI), a grande maioria dos sites menores, fóruns e até autores individuais foram "silenciosamente removidos", sem capacidade de resistência ou, podemos dizer, de consciência. A solução da Cloudflare, na verdade, pode democratizar essa capacidade de negociação para um número mais amplo de sites.
De acordo com a equipe da Cloudflare, eles tiveram centenas de conversas com agências de notícias, editores e grandes plataformas de mídia social, e todos concordaram que "gostariam de permitir que crawlers de IA acessassem seu conteúdo, mas gostariam de ser compensados."
Para os apoiantes, o modelo "Pay Per Crawl" é, em essência, muito "justo": os criadores têm uma fonte de rendimento, as empresas de IA evitam riscos legais e, a longo prazo, isso pode promover toda a indústria rumo a uma licença de conteúdo mais em conformidade.
Imagem cortesia: Cloudflare
Claro, as empresas de IA podem não estar felizes, pois os dados da internet já não são gratuitos; para obter novos conteúdos, é preciso gastar dinheiro, o que significa que além do poder computacional, há fatores de custo.
Mas, por outro lado, isso também pode talvez inibir a captura excessiva e forçar os desenvolvedores de modelos de IA a serem mais seletivos com os dados - como, por exemplo, adquirir conteúdo de alto valor de forma direcionada, em vez de simplesmente alimentar o modelo com o conteúdo de vários sites.
Matthew Prince disse: "O motor de IA é como um queijo suíço, o verdadeiro conteúdo original que pode preencher os buracos desse queijo é muito mais valioso do que o conteúdo repetitivo e de baixo valor que atualmente ocupa a maior parte do espaço na internet."
Na sua opinião, o tráfego nunca conseguiu medir com precisão o valor do conteúdo. "Se pudermos começar a classificar e avaliar o conteúdo, não com base na quantidade de tráfego que gera, mas sim com base no grau em que promove o conhecimento (medido pela quantidade de buracos existentes que preenche nos 'queijos suíços' dos motores de IA) – não só podemos ajudar os motores de IA a progredir mais rapidamente, mas também potencialmente promover uma nova era de criação de conteúdo de alto valor."
No entanto, os defensores dos direitos digitais podem argumentar: será que pequenas equipas de startups de IA, investigadores e comunidades de código aberto conseguem suportar tais custos de dados? A pesquisa académica e o arquivo de interesse público, esses "web crawlers benéficos", não estarão condenados a ter dificuldades, apenas conseguindo aceder a fontes de dados limitadas e de baixo valor?
Num contexto em que a receita publicitária está a diminuir e os custos de tráfego a aumentar, quantos sites estarão dispostos a abrir-se gratuitamente para que os crawlers de IA possam extrair informações? Será que isto pode ser o início de um "encerramento", fazendo com que a internet perca o seu espírito de liberdade e partilha?
Se toda a rede bloquear tarifas por padrão, isso não irá inadvertidamente agravar o "monopólio das grandes empresas"? Afinal, as grandes empresas têm mais dinheiro.
O modo "Pay Per Crawl" tenta, por um lado, resolver o problema do conteúdo sugado pela IA que não retribui, e por outro lado, pode inadvertidamente elevar a barreira à inovação da IA, voltando ao velho tema da proteção dos direitos autorais e da abertura do conhecimento.
Claro, o Cloudflare apenas dá mais autonomia aos sites. Os proprietários dos sites podem totalmente optar por continuar a oferecer serviços gratuitos para projetos de caridade e sem fins lucrativos. O poder ainda está nas mãos dos criadores. De qualquer forma, eles merecem receber "compensação".
Nas palavras do CEO da Cloudflare, o objetivo desta transformação é «construir uma internet melhor». «Ainda não sabemos todas as respostas, mas estamos a trabalhar com alguns dos melhores economistas e cientistas da computação para encontrar respostas.»
Atualmente, outros provedores de CDN e segurança (como Akamai, Fastly, Amazon CloudFront) ainda não anunciaram funcionalidades semelhantes.
Mantenha o robô de rastreamento de IA fora da porta｜Fonte da imagem: Cloudflare
Embora o "Pay Per Crawl" da Cloudflare pareça apenas uma nova funcionalidade de um produto CDN, de certa forma:
Pode ser um sinal de que a Internet está a chegar a um ponto de bifurcação.
Na era da busca, o valor do conteúdo é convertido em receita publicitária através do acesso dos usuários. Mas na era da IA, os usuários podem nem sequer clicar nos sites — todas as respostas são resumidas e geradas pelos chatbots. Devemos continuar permitindo que modelos de IA grandes explorem conteúdo da web gratuitamente ou devemos voltar ao princípio da "reciprocidade" na obtenção de dados, permitindo que os criadores recebam a compensação que merecem? E quanta compensação pode haver?
Este experimento inicial pode estar a pavimentar o caminho para uma nova forma de economia de dados na era da IA. Independentemente do sucesso ou falha, a sua posição é clara: a IA não pode esgotar indefinidamente a paciência dos criadores e transformar o trabalho humano em combustível gratuito em nome da "abertura".
"A rede está a passar por uma transformação, e o seu modelo de negócio também irá mudar. Neste processo, temos a oportunidade de aprender com os bons aspectos dos últimos 30 anos, para que se torne melhor no futuro."
Quanto à questão de saber se as coisas podem realmente melhorar, como a Cloudflare admite:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
A "Cyber Bodhisattva" faz estragos, a era do "almoço grátis" dos gigantes da IA terminou.
Musk e Trump, esta dupla de "guerra de palavras" na Casa Branca recentemente entrou na fase 2.0. Semelhante a este par de rivais engraçados, está a luta entre grupos de editores internacionais e gigantes da IA - por um lado, grandes editores querem colaborar com empresas de IA, por outro, há editores que juram fazer os gigantes da IA falirem.
De acordo com os dados, após o surgimento da pesquisa por IA e do ChatGPT, o tráfego global de sites tem diminuído; por outro lado, os gigantes da IA com seus "bots de IA" ignoram os protocolos de rastreamento, extraindo dados de todos os sites com dezenas de milhares de acessos.
Nesse momento, finalmente uma empresa de infraestrutura se apresentou e, segurando a mão dos criadores de conteúdo, disse: "Podemos dizer não aos gigantes da IA!"
Cloudflare, a giant in internet infrastructure that controls about 20% of global web traffic and is hailed by netizens as the "Cyber Bodhisattva", launched an experimental product and trading market in July 2025: "Pay Per Crawl" — establishing new rules for AI crawlers:
Ou obtenha permissão, ou pague.
Em termos simples, a essência desta funcionalidade é dar aos criadores de conteúdo do site uma opção "interruptor": podem escolher permitir que os crawlers de IA acessem livremente, cobrando por cada acesso, ou bloquear o acesso diretamente.
De acordo com o fundador da Cloudflare, "o conteúdo é o combustível que impulsiona os motores de IA, portanto, é justo que os criadores de conteúdo sejam compensados diretamente."
Para as empresas de IA, se quiserem continuar a capturar conteúdo da internet para treinar modelos, não poderão mais "comer à grande de graça" como antes. Mas também não é sem vantagens, pois ao pagar por um preço claramente definido, é possível evitar problemas de direitos autorais.
A medida "anti-bot" da Cloudflare pode aliviar os ataques desenfreados de crawlers de IA? Mais importante ainda, será que esta empresa consegue usar a sua posição única para estabelecer um novo modelo de distribuição de conteúdo e monetização na era da IA?
01
O "almoço grátis" dos gigantes da IA
Nas últimas décadas, a maioria das páginas da web eram por default públicas e "crawleáveis". Motores de busca como o Google e o Bing trazem tráfego para os sites; com o tráfego, os sites monetizam através de anúncios ou vendas de assinaturas - este é o contrato implícito da era de busca.
Na era da IA, o tráfego de busca tradicional caiu drasticamente, e essa conta só piora.
As empresas de IA usam o conteúdo da internet como combustível para treinamento, mas raramente oferecem retorno à maioria dos criadores. Quando os usuários fazem perguntas diretamente ao chatbot de IA, as respostas muitas vezes vêm de conteúdos resumidos, em vez de dezenas de links azuis, não trazendo mais tráfego para os sites.
Até mesmo gigantes de busca como o Google estão mudando; anteriormente, eles forneciam listas de links para sites, mas agora lançaram um "resumo de inteligência artificial" na página de busca. De acordo com seus relatórios, 75% dos usuários que fazem consultas obtêm respostas sem precisar clicar em nenhum link.
As últimas informações da Cloudflare de julho de 2025 mostram que: o crawler do Google traz cerca de 1 clique para o site a cada 6 a 7 capturas, enquanto a OpenAI leva 1500 capturas para conseguir 1 redirecionamento, e a proporção da Anthropic é ainda mais exagerada, chegando a 73300 capturas para 1.
A proporção de cliques que os crawlers de IA de grandes empresas trazem para os sites a cada captura | Fonte da imagem: Cloudflare
Isto significa que o tradicional modelo de "conteúdo em troca de tráfego" deixou de funcionar. Comparado aos motores de busca tradicionais, os gigantes da IA consumiram uma enorme quantidade de conteúdo de sites, mas não fornecem "tráfego", e este desequilíbrio torna cada vez mais difícil para alguns produtores de conteúdo sobreviver.
"Com a OpenAI, a dificuldade de obter tráfego na web é 750 vezes maior do que na era do Google, e com a Anthropic, a dificuldade chega a 30 mil vezes. A razão é simples: estamos cada vez menos a consumir conteúdo original e mais a consumir os seus derivados." O CEO da Cloudflare, Matthew Prince, afirmou em um post de blog, "isto não é um negócio justo."
As empresas de IA também pagam um preço por coletar dados, nos últimos dois anos os gigantes da IA foram acusados de "roubar conteúdo" para treinar grandes modelos, desencadeando uma onda de ações judiciais de direitos autorais em todo o mundo, especialmente entre instituições de notícias como o New York Times e a OpenAI.
Robô de rastreamento AI ativo de grandes empresas｜Fonte da imagem: Cloudflare
Assim, a Cloudflare lançou o "Pay Per Crawl", estabelecendo um mercado de "pagamento por rastreamento", que visa resolver exatamente este problema.
A empresa projetou um sistema de permissões e pagamentos, onde o site pode escolher no backend permitir, bloquear ou cobrar do rastreador de IA. Se o rastreador de IA quiser capturar o conteúdo do site, deve se registrar, verificar a identidade e efetuar o pagamento a cada visita.
Se tudo correr bem, este modelo pode permitir que o conteúdo da web passe de "monetização através de anúncios" para "monetização através de licenciamento de conteúdo", abrindo novas fontes de receita. Quer se trate de grandes meios de comunicação ou de pequenos blogs pouco conhecidos, todos poderão ter poder de negociação na era da IA, sendo pagos pela sua utilização.
Para enfatizar seu significado, o CEO da Cloudflare também chamou o dia do lançamento do "Pay Per Crawl" de:
"Dia da Independência do Conteúdo".
02
Como é cobrada a "taxa de passagem" de IA?
Claro, a ideia é bonita, mas como a tecnologia será implementada?
A Cloudflare começou por fornecer serviços como CDN, proteção DDoS, DNS e segurança de zero confiança. A empresa tem nós implantados em mais de 300 cidades ao redor do mundo, suportando cerca de 20% do tráfego da Web, o que facilita seu papel como "intermediário".
"Pay Per Crawl" é construído na camada intermediária da sua rede CDN global: ele pode identificar e processar crawlers de IA antes que as solicitações de acesso cheguem à origem. Os administradores podem definir três modos no painel do Cloudflare: permitir, cobrar, bloquear.
O administrador pode definir no painel de controlo permitir, cobrar ou bloquear | Fonte da imagem: Cloudflare
Todos os sites que se juntam ao Cloudflare bloqueiam por padrão os crawlers de IA, a menos que o proprietário do site permita ativamente. Apenas as empresas de IA que estabelecem uma parceria com o Cloudflare podem participar do mecanismo de pagamento, caso contrário, serão bloqueadas.
Se um crawler de IA fizer um pedido a uma URL paga sem ter pago, o Cloudflare retornará o código de status HTTP 402 Payment Required - um código de status que quase ninguém usava no passado, reservado especificamente para "pagamentos online". O crawler de IA pode incluir informações de pagamento na solicitação para indicar a concordância em pagar o preço definido; assim que o preço for correspondido, a solicitação será liberada, retornando 200 OK e a liquidação será feita automaticamente.
A Cloudflare é, portanto, a "caixa registradora" desta transação, responsável por agregar faturas e distribuir receitas.
A Cloudflare retornará o código de status HTTP 402 Payment Required｜Fonte da imagem: Cloudflare
Os crawlers podem incluir informações de pagamento na solicitação｜Fonte da imagem: Cloudflare
HTTP 200 OK resposta confirma cobrança｜Imagem cortesia: Cloudflare
Mais importante ainda, isso não pode ser contornado apenas com uma simples falsificação do User-Agent. A Cloudflare exige que as empresas de IA registrem uma chave, garantindo a identidade com uma assinatura digital. Isso também é para evitar que "crawleres falsificados" se façam passar por conformantes para escapar do pagamento.
No passado, o robots.txt era um arquivo de texto puro colocado na raiz do site, usado para informar aos crawlers dos motores de busca quais páginas podiam ser rastreadas e quais não podiam, mas era apenas uma "sugestão de cortesia" do site, muitos crawlers de IA simplesmente ignoravam. A solução da Cloudflare mudou isso, transformando as "restrições suaves" baseadas em robots.txt em "portões rígidos".
No entanto, segundo a Cloudflare, atualmente apenas cerca de 37% dos 10.000 principais domínios possuem um arquivo robots.txt.
Definir níveis para o robô de IA｜Fonte da imagem: Cloudflare
Se você deseja participar do mercado pago de rastreamento da Cloudflare, tanto o rastreador quanto o rastreado devem criar uma conta na Cloudflare. Até o momento, o "Pay Per Crawl" ainda está em fase de testes internos, com apenas alguns grandes editores participando, como BuzzFeed, The Atlantic e Fortune, e a Cloudflare continua a convocar publicamente criadores de conteúdo e rastreadores interessados.
"Prevemos um desenvolvimento significativo do modelo de pagamento por uso." afirmou a Cloudflare.
Embora ainda esteja em uma fase inicial, a empresa tem muitas ideias para o futuro. Por exemplo, editores ou outras instituições podem cobrar diferentes taxas para diferentes tipos de conteúdo, ou implementar preços dinâmicos com base no número de usuários de aplicações de IA, ou introduzir estratégias de precificação mais granulares com base em diferentes áreas como treinamento, inferência e pesquisa.
Eles também acreditam que o verdadeiro potencial dos crawlers pagos por uso pode se manifestar no mundo dos agentes inteligentes.
"E se o muro de pagamento do agente inteligente pudesse funcionar completamente de forma programática? Imagine que você pode pedir ao seu assistente de pesquisa aprofundada para ajudá-lo a organizar as pesquisas mais recentes sobre câncer, resumos legais ou encontrar os melhores restaurantes - e então dar a esse agente inteligente um orçamento para obter o conteúdo mais útil e relevante."
"A primeira solução baseada no código de resposta HTTP 402 abrirá um futuro onde um agente inteligente poderá negociar o acesso a recursos digitais de forma programática", afirmou a Cloudflare.
03
A encruzilhada da Internet
Do ponto de vista económico, isto pode ser o início de uma "nova negociação de rendimentos" entre a IA e os numerosos criadores de conteúdo.
Agora, apenas os grandes meios de comunicação podem negociar licenças com empresas de IA (por exemplo, o New York Times só chegou a um acordo após relatar sobre a OpenAI), a grande maioria dos sites menores, fóruns e até autores individuais foram "silenciosamente removidos", sem capacidade de resistência ou, podemos dizer, de consciência. A solução da Cloudflare, na verdade, pode democratizar essa capacidade de negociação para um número mais amplo de sites.
De acordo com a equipe da Cloudflare, eles tiveram centenas de conversas com agências de notícias, editores e grandes plataformas de mídia social, e todos concordaram que "gostariam de permitir que crawlers de IA acessassem seu conteúdo, mas gostariam de ser compensados."
Para os apoiantes, o modelo "Pay Per Crawl" é, em essência, muito "justo": os criadores têm uma fonte de rendimento, as empresas de IA evitam riscos legais e, a longo prazo, isso pode promover toda a indústria rumo a uma licença de conteúdo mais em conformidade.
Imagem cortesia: Cloudflare
Claro, as empresas de IA podem não estar felizes, pois os dados da internet já não são gratuitos; para obter novos conteúdos, é preciso gastar dinheiro, o que significa que além do poder computacional, há fatores de custo.
Mas, por outro lado, isso também pode talvez inibir a captura excessiva e forçar os desenvolvedores de modelos de IA a serem mais seletivos com os dados - como, por exemplo, adquirir conteúdo de alto valor de forma direcionada, em vez de simplesmente alimentar o modelo com o conteúdo de vários sites.
Matthew Prince disse: "O motor de IA é como um queijo suíço, o verdadeiro conteúdo original que pode preencher os buracos desse queijo é muito mais valioso do que o conteúdo repetitivo e de baixo valor que atualmente ocupa a maior parte do espaço na internet."
Na sua opinião, o tráfego nunca conseguiu medir com precisão o valor do conteúdo. "Se pudermos começar a classificar e avaliar o conteúdo, não com base na quantidade de tráfego que gera, mas sim com base no grau em que promove o conhecimento (medido pela quantidade de buracos existentes que preenche nos 'queijos suíços' dos motores de IA) – não só podemos ajudar os motores de IA a progredir mais rapidamente, mas também potencialmente promover uma nova era de criação de conteúdo de alto valor."
No entanto, os defensores dos direitos digitais podem argumentar: será que pequenas equipas de startups de IA, investigadores e comunidades de código aberto conseguem suportar tais custos de dados? A pesquisa académica e o arquivo de interesse público, esses "web crawlers benéficos", não estarão condenados a ter dificuldades, apenas conseguindo aceder a fontes de dados limitadas e de baixo valor?
Num contexto em que a receita publicitária está a diminuir e os custos de tráfego a aumentar, quantos sites estarão dispostos a abrir-se gratuitamente para que os crawlers de IA possam extrair informações? Será que isto pode ser o início de um "encerramento", fazendo com que a internet perca o seu espírito de liberdade e partilha?
Se toda a rede bloquear tarifas por padrão, isso não irá inadvertidamente agravar o "monopólio das grandes empresas"? Afinal, as grandes empresas têm mais dinheiro.
O modo "Pay Per Crawl" tenta, por um lado, resolver o problema do conteúdo sugado pela IA que não retribui, e por outro lado, pode inadvertidamente elevar a barreira à inovação da IA, voltando ao velho tema da proteção dos direitos autorais e da abertura do conhecimento.
Claro, o Cloudflare apenas dá mais autonomia aos sites. Os proprietários dos sites podem totalmente optar por continuar a oferecer serviços gratuitos para projetos de caridade e sem fins lucrativos. O poder ainda está nas mãos dos criadores. De qualquer forma, eles merecem receber "compensação".
Nas palavras do CEO da Cloudflare, o objetivo desta transformação é «construir uma internet melhor». «Ainda não sabemos todas as respostas, mas estamos a trabalhar com alguns dos melhores economistas e cientistas da computação para encontrar respostas.»
Atualmente, outros provedores de CDN e segurança (como Akamai, Fastly, Amazon CloudFront) ainda não anunciaram funcionalidades semelhantes.
Mantenha o robô de rastreamento de IA fora da porta｜Fonte da imagem: Cloudflare
Embora o "Pay Per Crawl" da Cloudflare pareça apenas uma nova funcionalidade de um produto CDN, de certa forma:
Pode ser um sinal de que a Internet está a chegar a um ponto de bifurcação.
Na era da busca, o valor do conteúdo é convertido em receita publicitária através do acesso dos usuários. Mas na era da IA, os usuários podem nem sequer clicar nos sites — todas as respostas são resumidas e geradas pelos chatbots. Devemos continuar permitindo que modelos de IA grandes explorem conteúdo da web gratuitamente ou devemos voltar ao princípio da "reciprocidade" na obtenção de dados, permitindo que os criadores recebam a compensação que merecem? E quanta compensação pode haver?
Este experimento inicial pode estar a pavimentar o caminho para uma nova forma de economia de dados na era da IA. Independentemente do sucesso ou falha, a sua posição é clara: a IA não pode esgotar indefinidamente a paciência dos criadores e transformar o trabalho humano em combustível gratuito em nome da "abertura".
"A rede está a passar por uma transformação, e o seu modelo de negócio também irá mudar. Neste processo, temos a oportunidade de aprender com os bons aspectos dos últimos 30 anos, para que se torne melhor no futuro."
Quanto à questão de saber se as coisas podem realmente melhorar, como a Cloudflare admite:
« Isto é apenas o começo. »