Elon Musk y Donald Trump, esta pareja de la Casa Blanca, recientemente han llevado su "guerra de palabras" a la etapa 2.0. Similar a esta pareja de enemigos felices, está la lucha entre los grupos editoriales extranjeros y los gigantes de la IA: por un lado, hay grandes editoriales que quieren colaborar con las empresas de IA, y por otro lado, hay editores que juran llevar a los gigantes de la IA a la quiebra.
Según los datos, el tráfico de sitios web en todo el mundo ha estado disminuyendo desde la aparición de la búsqueda de IA y ChatGPT; por otro lado, los "arañas de IA" de los gigantes de la IA ignoran los protocolos de arañeo y continúan erosionando los datos de todos los sitios web con miles de extracciones.
En ese momento, finalmente una empresa de infraestructura se presentó y tomó de la mano a los creadores de contenido, diciendo: "¡Podemos decirle que no a los gigantes de la IA!"
Cloudflare, el gigante de infraestructura de internet que controla alrededor del 20% del tráfico web global, es conocido por los internautas como la "Bodhisattva cibernética". En julio de 2025, lanzó un producto experimental y un mercado de transacciones: "Pay Per Crawl" - estableciendo nuevas reglas para los crawlers de IA:
O obtener permiso, o pagar.
En términos simples, la esencia de esta función es dar a los creadores de contenido del sitio web una opción de "interruptor": pueden elegir permitir que los rastreadores de IA accedan libremente, cobrar por cada acceso, o bloquear el acceso directamente.
Según el fundador de Cloudflare, "el contenido es el combustible que impulsa el motor de la IA, por lo tanto, es justo que los creadores de contenido reciban una compensación directamente."
Para las empresas de IA, si quieren seguir recopilando contenido de toda la red para entrenar modelos, ya no pueden "comer gratis" como antes. Pero tampoco es que no haya beneficios, porque al pagar un precio claro, se pueden evitar problemas de derechos de autor.
¿La medida de "anti-bot" de Cloudflare puede mitigar los ataques desenfrenados de los bots de IA? Más importante aún, ¿podrá esta empresa aprovechar su posición única para establecer un nuevo modelo de distribución y monetización de contenido en la era de la IA?
01
El "almuerzo gratis" de los gigantes de la IA
Durante las últimas décadas, la mayoría de las páginas web se han hecho públicas y "crawleables" por defecto. Motores de búsqueda como Google y Bing traen tráfico a los sitios web, y con ese tráfico, los sitios pueden monetizar a través de publicidad o ventas de suscripciones; este es el contrato implícito de la era de búsqueda.
En la era de la IA, el tráfico de búsqueda tradicional ha disminuido drásticamente, y cuanto más se calcula, más se pierde.
Las empresas de IA utilizan el contenido de toda la red como combustible para el entrenamiento, pero casi no compensan a la mayoría de los creadores. Cuando los usuarios hacen preguntas directamente en el chatbot de IA, las respuestas a menudo provienen de contenido resumido, en lugar de decenas de enlaces azules, lo que no genera más tráfico para los sitios web.
Incluso gigantes de búsqueda como Google están cambiando; antes proporcionaban listas de enlaces a sitios web, hoy han lanzado "Visión General de la Inteligencia Artificial" en sus páginas de búsqueda. Según su informe, el 75% de los usuarios que realizan consultas obtienen respuestas sin necesidad de hacer clic en ningún enlace.
Los últimos datos de Cloudflare de julio de 2025 muestran que: el rastreador de Google trae aproximadamente 1 clic por cada 6 a 7 visitas a un sitio web, mientras que OpenAI solo obtiene 1 redirección por cada 1500 visitas, y la proporción de Anthropic es aún más extrema, alcanzando 1 redirección por cada 73300 visitas.
La proporción de clics que los rastreadores de IA de las grandes empresas traen a los sitios web en cada captura | Imagen de origen: Cloudflare
Esto significa que el modelo tradicional de "intercambiar contenido por tráfico" ha dejado de funcionar. En comparación con los motores de búsqueda tradicionales, los gigantes de la IA han consumido una gran cantidad de contenido de sitios web, pero no proporcionan "tráfico", lo que ha hecho que algunos creadores de contenido tengan cada vez más dificultades para sobrevivir.
"Con OpenAI, la dificultad para obtener tráfico web es 750 veces mayor que en la era de Google, y con Anthropic, la dificultad llega a ser de 30,000 veces. La razón es simple: cada vez consumimos menos contenido original y más sus derivados." El CEO de Cloudflare, Matthew Prince, dijo en una entrada de blog: "No es un trato justo."
Las empresas de IA no obtienen datos sin costo; en los últimos dos años, los gigantes de la IA han sido acusados de "robar contenido" para entrenar modelos grandes, lo que ha provocado una ola de demandas por derechos de autor a nivel mundial, especialmente con instituciones de noticias como The New York Times y OpenAI enfrentando constantes litigios.
Robot de araña AI de una gran empresa activa｜Fuente de la imagen: Cloudflare
Por lo tanto, Cloudflare ha lanzado "Pay Per Crawl", creando un mercado de "pago por rastreo" para resolver precisamente este problema.
La empresa ha diseñado un sistema de permisos y pagos, donde el sitio web puede seleccionar en el backend si permite, bloquea o cobra a los crawlers de IA. Si un crawler de IA desea extraer contenido de este sitio web, debe registrarse, verificar su identidad y completar el pago en cada visita.
Si todo va bien, este modelo puede permitir que el contenido en la red pase de "monetización publicitaria" a "monetización por autorización de contenido", abriendo nuevas fuentes de ingresos. Tanto los grandes medios como los pequeños blogs menos conocidos podrán tener poder de negociación en la era de la IA, siendo remunerados por su uso por la IA.
Para enfatizar su importancia, el CEO de Cloudflare también llamó al día del lanzamiento de "Pay Per Crawl" como:
"Día de la Independencia del Contenido".
02
¿Cómo se cobra el "peaje" de IA?
Claro, la idea es hermosa, pero ¿cómo se implementa la tecnología?
La empresa Cloudflare comenzó ofreciendo servicios como CDN, protección DDoS, DNS y seguridad de cero confianza. Ha desplegado nodos en más de 300 ciudades en todo el mundo, soportando aproximadamente el 20% del tráfico web, lo que le ha facilitado actuar como "intermediario".
"Pay Per Crawl" se basa en la capa intermedia de su red CDN global: puede identificar y procesar arañas de IA antes de que las solicitudes de acceso lleguen al origen. Los administradores de sitios pueden establecer tres modos en el panel de control de Cloudflare: permitir, cobrar, bloquear.
El administrador puede configurar en el backend permitir, cobrar o bloquear | Fuente de la imagen: Cloudflare
Todos los sitios web que se unen a Cloudflare bloquean por defecto a los crawlers de IA, a menos que el administrador del sitio lo permita activamente. Solo las empresas de IA que establezcan una relación de colaboración con Cloudflare podrán participar en el mecanismo de pago, de lo contrario serán bloqueadas.
Si un bot de IA hace una solicitud a una URL de pago sin haber pagado, Cloudflare devolverá el código de estado HTTP 402 Payment Required, un código de estado reservado casi exclusivamente para "pagos en línea" que nadie usaba antes. El bot de IA puede incluir información de pago en la solicitud para indicar su consentimiento a pagar el precio configurado; una vez que se coincida el precio, se permitirá la solicitud y se devolverá un 200 OK, y se realizará el pago automáticamente.
Cloudflare es en sí mismo la "caja registradora" de esta transacción, responsable de agregar las facturas y distribuir los ingresos.
Cloudflare devolverá el código de estado HTTP 402 Payment Required｜Fuente de la imagen: Cloudflare
Los crawlers pueden incluir información de pago en la solicitud｜Fuente de la imagen: Cloudflare
HTTP 200 OK respuesta de confirmación de cargo | Fuente de la imagen: Cloudflare
Más importante aún, esto no se puede eludir simplemente engañando al User-Agent. Cloudflare requiere que las empresas de IA se registren con una clave, garantizando su identidad con una firma digital. Esto también es para evitar que los "arañas piratas" se hagan pasar por cumplidores para eludir el pago.
En el pasado, robots.txt era un archivo de texto plano ubicado en el directorio raíz del sitio web, utilizado para informar a los crawlers de los motores de búsqueda qué páginas se pueden rastrear y cuáles no, pero era solo una "sugerencia de cortesía" del sitio web, muchos crawlers de IA simplemente lo ignoraban. La solución de Cloudflare cambió esto, convirtiendo la "suave restricción" de robots.txt en una "puerta de acceso dura".
Sin embargo, según Cloudflare, actualmente solo alrededor del 37% de los 10000 principales dominios tienen un archivo robots.txt.
Configurar niveles para el rastreador AI｜Fuente de la imagen: Cloudflare
Si desea participar en el mercado de pago por rastreo de Cloudflare, tanto el rastreador como el rastreado deben tener una cuenta de Cloudflare. Hasta ahora, "Pago por Rastreo" aún se encuentra en la fase de prueba interna, y solo algunos editores grandes participan, como BuzzFeed, The Atlantic y Fortune, entre otros. Cloudflare continúa buscando creadores de contenido y rastreadores interesados.
"Esperamos un desarrollo significativo en el modelo de pago por uso." dijo Cloudflare.
Aunque actualmente todavía se encuentra en una etapa inicial, la empresa tiene muchas ideas para el futuro. Por ejemplo, los editores u otras instituciones pueden cobrar diferentes tarifas por diferentes tipos de contenido, o implementar precios dinámicos según el número de usuarios de la aplicación de IA, o introducir estrategias de precios más detalladas basadas en áreas como entrenamiento, inferencia, búsqueda, etc.
También creen que el verdadero potencial de los crawlers de pago por uso podría manifestarse en el mundo de los agentes inteligentes.
"¿Qué pasaría si un muro de pago de agentes inteligentes pudiera funcionar completamente de manera programática? Imagina que puedes pedirle a tu asistente de investigación profunda que te ayude a organizar la investigación más reciente sobre el cáncer, resúmenes legales, o que te ayude a encontrar los mejores restaurantes—y luego le das a este agente inteligente un presupuesto para obtener el contenido más útil y relevante."
"La primera solución basada en el código de respuesta HTTP 402 abrirá un futuro en el que un agente inteligente podrá negociar programáticamente el acceso a los recursos digitales", dijo Cloudflare.
03
La encrucijada de Internet
Desde un punto de vista económico, esto podría ser el comienzo de una "renegociación de la distribución de ingresos" entre la IA y una amplia gama de creadores de contenido.
Ahora, solo los grandes medios de comunicación pueden negociar licencias con las empresas de IA (por ejemplo, el New York Times solo llegó a un acuerdo después de informar sobre OpenAI), la gran mayoría de los sitios web pequeños y medianos, foros e incluso autores individuales han sido "silenciosamente despojados", sin capacidad de resistencia, o se podría decir, sin conciencia. La solución de Cloudflare, en realidad, puede llevar esta capacidad de negociación a una gama más amplia de sitios web.
Según el equipo de Cloudflare, han tenido cientos de conversaciones con agencias de noticias, editores y grandes plataformas de redes sociales, y todos ellos "esperan permitir que los crawlers de IA accedan a su contenido, pero quieren ser compensados."
Para los partidarios, el modelo "Pay Per Crawl" es conceptualmente "justo": los creadores obtienen ingresos, las empresas de IA evitan riesgos legales y, a largo plazo, puede impulsar a toda la industria hacia una concesión de contenido más regulada.
Fuente de la imagen: Cloudflare
Por supuesto, las empresas de IA no necesariamente están contentas; los datos de Internet ya no son gratuitos, para obtener nuevo contenido, hay que gastar dinero, lo que significa que hay factores de costo más allá de la potencia de cálculo.
Pero, por otro lado, esto también podría limitar la recolección excesiva de datos y obligar a los desarrolladores de modelos de IA a ser más selectivos con respecto a los datos, como comprar contenido de alto valor de forma específica, en lugar de alimentar al modelo con todo tipo de contenido de sitios web.
Matthew Prince dijo: "El motor de IA es como un queso suizo, el nuevo contenido original que realmente puede llenar los agujeros de ese queso es más valioso que el contenido repetitivo y de bajo valor que ocupa la mayor parte del espacio en la red hoy en día."
En su opinión, el tráfico nunca ha podido medir con precisión el valor del contenido. "Si pudiéramos comenzar a calificar y evaluar el contenido, no en función de cuánto tráfico genera, sino de acuerdo con su capacidad para promover el conocimiento (medido por cuántos agujeros existentes llena en el "queso suizo" de los motores de IA) – no solo podríamos ayudar a los motores de IA a avanzar más rápido, sino que también podríamos fomentar una nueva era dorada de creación de contenido de alto valor."
Sin embargo, los defensores de los derechos digitales pueden argumentar: ¿pueden los pequeños equipos de startups de IA, investigadores y comunidades de código abierto asumir tales costos de datos? ¿La investigación académica y la archivística benéfica, estos "rastreadores benignos", se verán obstaculizados y solo podrán acceder a fuentes de datos limitadas y de bajo valor?
En una realidad donde los ingresos publicitarios están en declive y los costos de tráfico están en aumento, ¿cuántos sitios web estarán dispuestos a abrirse gratuitamente a los rastreadores de IA para que se aprovechen? ¿Podría esto ser el comienzo de un "cierre" que haga que Internet pierda su espíritu de libertad y compartición?
¿Si toda la red bloquea por defecto las tarifas, esto podría inadvertidamente intensificar el "monopolio de las grandes empresas"? Después de todo, las grandes empresas tienen más dinero.
El modo "Pay Per Crawl" intenta, por un lado, resolver el problema de que la IA se beneficia del contenido sin retribuirlo, y por otro lado, también podría, sin querer, elevar la barrera de la innovación de la IA, volviendo a la antigua cuestión de la protección de derechos de autor y la apertura del conocimiento.
Por supuesto, Cloudflare simplemente otorga más autonomía a los sitios web. Los propietarios de los sitios tienen la libertad de elegir mantener gratuitos los proyectos de interés público y sin fines de lucro. El poder sigue estando en manos de los creadores. De todos modos, merecen recibir "compensación".
En palabras del CEO de Cloudflare, el objetivo de esta transformación es "construir un mejor internet". "Todavía no sabemos todas las respuestas, pero estamos colaborando con algunos de los mejores economistas y científicos de la computación para encontrar respuestas."
Actualmente, otros proveedores de CDN y seguridad (como Akamai, Fastly, Amazon CloudFront) aún no han anunciado funciones similares.
Manteniendo a los robots de araña de IA fuera de la puerta｜Fuente de la imagen: Cloudflare
Aunque la función "Pay Per Crawl" de Cloudflare parece ser solo una nueva característica de un producto CDN, en cierto sentido:
Puede ser una señal de que Internet está llegando a una encrucijada.
En la era de la búsqueda, el valor del contenido se transforma en ingresos publicitarios a través del acceso de los usuarios. Pero en la era de la IA, los usuarios pueden no hacer clic en los sitios web en absoluto: todas las respuestas se resumen y generan en los chatbots. ¿Deberíamos continuar permitiendo que los grandes modelos de IA extraigan contenido de la red de forma gratuita, o deberíamos volver al principio de "reciprocidad" en la obtención de datos, permitiendo que los creadores reciban la compensación que merecen? ¿Cuánto puede ser esa compensación?
Este experimento temprano podría estar allanando el camino para una nueva forma de economía de datos en la era de la IA. Independientemente de su éxito o fracaso, su postura es clara: la IA no puede agotar indefinidamente la paciencia de los creadores y convertir el trabajo humano en combustible gratuito bajo el nombre de "apertura".
"La red está experimentando una transformación, y su modelo de negocio también cambiará en consecuencia. En este proceso, tenemos la oportunidad de aprender de los aspectos positivos de los últimos 30 años para que sea mejor en el futuro."
En cuanto a si las cosas realmente pueden mejorar, como Cloudflare admite:
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
El "Bodhisattva Cibernético" hace estragos, la era del "almuerzo gratis" de los gigantes de la IA ha terminado.
Elon Musk y Donald Trump, esta pareja de la Casa Blanca, recientemente han llevado su "guerra de palabras" a la etapa 2.0. Similar a esta pareja de enemigos felices, está la lucha entre los grupos editoriales extranjeros y los gigantes de la IA: por un lado, hay grandes editoriales que quieren colaborar con las empresas de IA, y por otro lado, hay editores que juran llevar a los gigantes de la IA a la quiebra.
Según los datos, el tráfico de sitios web en todo el mundo ha estado disminuyendo desde la aparición de la búsqueda de IA y ChatGPT; por otro lado, los "arañas de IA" de los gigantes de la IA ignoran los protocolos de arañeo y continúan erosionando los datos de todos los sitios web con miles de extracciones.
En ese momento, finalmente una empresa de infraestructura se presentó y tomó de la mano a los creadores de contenido, diciendo: "¡Podemos decirle que no a los gigantes de la IA!"
Cloudflare, el gigante de infraestructura de internet que controla alrededor del 20% del tráfico web global, es conocido por los internautas como la "Bodhisattva cibernética". En julio de 2025, lanzó un producto experimental y un mercado de transacciones: "Pay Per Crawl" - estableciendo nuevas reglas para los crawlers de IA:
O obtener permiso, o pagar.
En términos simples, la esencia de esta función es dar a los creadores de contenido del sitio web una opción de "interruptor": pueden elegir permitir que los rastreadores de IA accedan libremente, cobrar por cada acceso, o bloquear el acceso directamente.
Según el fundador de Cloudflare, "el contenido es el combustible que impulsa el motor de la IA, por lo tanto, es justo que los creadores de contenido reciban una compensación directamente."
Para las empresas de IA, si quieren seguir recopilando contenido de toda la red para entrenar modelos, ya no pueden "comer gratis" como antes. Pero tampoco es que no haya beneficios, porque al pagar un precio claro, se pueden evitar problemas de derechos de autor.
¿La medida de "anti-bot" de Cloudflare puede mitigar los ataques desenfrenados de los bots de IA? Más importante aún, ¿podrá esta empresa aprovechar su posición única para establecer un nuevo modelo de distribución y monetización de contenido en la era de la IA?
01
El "almuerzo gratis" de los gigantes de la IA
Durante las últimas décadas, la mayoría de las páginas web se han hecho públicas y "crawleables" por defecto. Motores de búsqueda como Google y Bing traen tráfico a los sitios web, y con ese tráfico, los sitios pueden monetizar a través de publicidad o ventas de suscripciones; este es el contrato implícito de la era de búsqueda.
En la era de la IA, el tráfico de búsqueda tradicional ha disminuido drásticamente, y cuanto más se calcula, más se pierde.
Las empresas de IA utilizan el contenido de toda la red como combustible para el entrenamiento, pero casi no compensan a la mayoría de los creadores. Cuando los usuarios hacen preguntas directamente en el chatbot de IA, las respuestas a menudo provienen de contenido resumido, en lugar de decenas de enlaces azules, lo que no genera más tráfico para los sitios web.
Incluso gigantes de búsqueda como Google están cambiando; antes proporcionaban listas de enlaces a sitios web, hoy han lanzado "Visión General de la Inteligencia Artificial" en sus páginas de búsqueda. Según su informe, el 75% de los usuarios que realizan consultas obtienen respuestas sin necesidad de hacer clic en ningún enlace.
Los últimos datos de Cloudflare de julio de 2025 muestran que: el rastreador de Google trae aproximadamente 1 clic por cada 6 a 7 visitas a un sitio web, mientras que OpenAI solo obtiene 1 redirección por cada 1500 visitas, y la proporción de Anthropic es aún más extrema, alcanzando 1 redirección por cada 73300 visitas.
La proporción de clics que los rastreadores de IA de las grandes empresas traen a los sitios web en cada captura | Imagen de origen: Cloudflare
Esto significa que el modelo tradicional de "intercambiar contenido por tráfico" ha dejado de funcionar. En comparación con los motores de búsqueda tradicionales, los gigantes de la IA han consumido una gran cantidad de contenido de sitios web, pero no proporcionan "tráfico", lo que ha hecho que algunos creadores de contenido tengan cada vez más dificultades para sobrevivir.
"Con OpenAI, la dificultad para obtener tráfico web es 750 veces mayor que en la era de Google, y con Anthropic, la dificultad llega a ser de 30,000 veces. La razón es simple: cada vez consumimos menos contenido original y más sus derivados." El CEO de Cloudflare, Matthew Prince, dijo en una entrada de blog: "No es un trato justo."
Las empresas de IA no obtienen datos sin costo; en los últimos dos años, los gigantes de la IA han sido acusados de "robar contenido" para entrenar modelos grandes, lo que ha provocado una ola de demandas por derechos de autor a nivel mundial, especialmente con instituciones de noticias como The New York Times y OpenAI enfrentando constantes litigios.
Robot de araña AI de una gran empresa activa｜Fuente de la imagen: Cloudflare
Por lo tanto, Cloudflare ha lanzado "Pay Per Crawl", creando un mercado de "pago por rastreo" para resolver precisamente este problema.
La empresa ha diseñado un sistema de permisos y pagos, donde el sitio web puede seleccionar en el backend si permite, bloquea o cobra a los crawlers de IA. Si un crawler de IA desea extraer contenido de este sitio web, debe registrarse, verificar su identidad y completar el pago en cada visita.
Si todo va bien, este modelo puede permitir que el contenido en la red pase de "monetización publicitaria" a "monetización por autorización de contenido", abriendo nuevas fuentes de ingresos. Tanto los grandes medios como los pequeños blogs menos conocidos podrán tener poder de negociación en la era de la IA, siendo remunerados por su uso por la IA.
Para enfatizar su importancia, el CEO de Cloudflare también llamó al día del lanzamiento de "Pay Per Crawl" como:
"Día de la Independencia del Contenido".
02
¿Cómo se cobra el "peaje" de IA?
Claro, la idea es hermosa, pero ¿cómo se implementa la tecnología?
La empresa Cloudflare comenzó ofreciendo servicios como CDN, protección DDoS, DNS y seguridad de cero confianza. Ha desplegado nodos en más de 300 ciudades en todo el mundo, soportando aproximadamente el 20% del tráfico web, lo que le ha facilitado actuar como "intermediario".
"Pay Per Crawl" se basa en la capa intermedia de su red CDN global: puede identificar y procesar arañas de IA antes de que las solicitudes de acceso lleguen al origen. Los administradores de sitios pueden establecer tres modos en el panel de control de Cloudflare: permitir, cobrar, bloquear.
El administrador puede configurar en el backend permitir, cobrar o bloquear | Fuente de la imagen: Cloudflare
Todos los sitios web que se unen a Cloudflare bloquean por defecto a los crawlers de IA, a menos que el administrador del sitio lo permita activamente. Solo las empresas de IA que establezcan una relación de colaboración con Cloudflare podrán participar en el mecanismo de pago, de lo contrario serán bloqueadas.
Si un bot de IA hace una solicitud a una URL de pago sin haber pagado, Cloudflare devolverá el código de estado HTTP 402 Payment Required, un código de estado reservado casi exclusivamente para "pagos en línea" que nadie usaba antes. El bot de IA puede incluir información de pago en la solicitud para indicar su consentimiento a pagar el precio configurado; una vez que se coincida el precio, se permitirá la solicitud y se devolverá un 200 OK, y se realizará el pago automáticamente.
Cloudflare es en sí mismo la "caja registradora" de esta transacción, responsable de agregar las facturas y distribuir los ingresos.
Cloudflare devolverá el código de estado HTTP 402 Payment Required｜Fuente de la imagen: Cloudflare
Los crawlers pueden incluir información de pago en la solicitud｜Fuente de la imagen: Cloudflare
HTTP 200 OK respuesta de confirmación de cargo | Fuente de la imagen: Cloudflare
Más importante aún, esto no se puede eludir simplemente engañando al User-Agent. Cloudflare requiere que las empresas de IA se registren con una clave, garantizando su identidad con una firma digital. Esto también es para evitar que los "arañas piratas" se hagan pasar por cumplidores para eludir el pago.
En el pasado, robots.txt era un archivo de texto plano ubicado en el directorio raíz del sitio web, utilizado para informar a los crawlers de los motores de búsqueda qué páginas se pueden rastrear y cuáles no, pero era solo una "sugerencia de cortesía" del sitio web, muchos crawlers de IA simplemente lo ignoraban. La solución de Cloudflare cambió esto, convirtiendo la "suave restricción" de robots.txt en una "puerta de acceso dura".
Sin embargo, según Cloudflare, actualmente solo alrededor del 37% de los 10000 principales dominios tienen un archivo robots.txt.
Configurar niveles para el rastreador AI｜Fuente de la imagen: Cloudflare
Si desea participar en el mercado de pago por rastreo de Cloudflare, tanto el rastreador como el rastreado deben tener una cuenta de Cloudflare. Hasta ahora, "Pago por Rastreo" aún se encuentra en la fase de prueba interna, y solo algunos editores grandes participan, como BuzzFeed, The Atlantic y Fortune, entre otros. Cloudflare continúa buscando creadores de contenido y rastreadores interesados.
"Esperamos un desarrollo significativo en el modelo de pago por uso." dijo Cloudflare.
Aunque actualmente todavía se encuentra en una etapa inicial, la empresa tiene muchas ideas para el futuro. Por ejemplo, los editores u otras instituciones pueden cobrar diferentes tarifas por diferentes tipos de contenido, o implementar precios dinámicos según el número de usuarios de la aplicación de IA, o introducir estrategias de precios más detalladas basadas en áreas como entrenamiento, inferencia, búsqueda, etc.
También creen que el verdadero potencial de los crawlers de pago por uso podría manifestarse en el mundo de los agentes inteligentes.
"¿Qué pasaría si un muro de pago de agentes inteligentes pudiera funcionar completamente de manera programática? Imagina que puedes pedirle a tu asistente de investigación profunda que te ayude a organizar la investigación más reciente sobre el cáncer, resúmenes legales, o que te ayude a encontrar los mejores restaurantes—y luego le das a este agente inteligente un presupuesto para obtener el contenido más útil y relevante."
"La primera solución basada en el código de respuesta HTTP 402 abrirá un futuro en el que un agente inteligente podrá negociar programáticamente el acceso a los recursos digitales", dijo Cloudflare.
03
La encrucijada de Internet
Desde un punto de vista económico, esto podría ser el comienzo de una "renegociación de la distribución de ingresos" entre la IA y una amplia gama de creadores de contenido.
Ahora, solo los grandes medios de comunicación pueden negociar licencias con las empresas de IA (por ejemplo, el New York Times solo llegó a un acuerdo después de informar sobre OpenAI), la gran mayoría de los sitios web pequeños y medianos, foros e incluso autores individuales han sido "silenciosamente despojados", sin capacidad de resistencia, o se podría decir, sin conciencia. La solución de Cloudflare, en realidad, puede llevar esta capacidad de negociación a una gama más amplia de sitios web.
Según el equipo de Cloudflare, han tenido cientos de conversaciones con agencias de noticias, editores y grandes plataformas de redes sociales, y todos ellos "esperan permitir que los crawlers de IA accedan a su contenido, pero quieren ser compensados."
Para los partidarios, el modelo "Pay Per Crawl" es conceptualmente "justo": los creadores obtienen ingresos, las empresas de IA evitan riesgos legales y, a largo plazo, puede impulsar a toda la industria hacia una concesión de contenido más regulada.
Fuente de la imagen: Cloudflare
Por supuesto, las empresas de IA no necesariamente están contentas; los datos de Internet ya no son gratuitos, para obtener nuevo contenido, hay que gastar dinero, lo que significa que hay factores de costo más allá de la potencia de cálculo.
Pero, por otro lado, esto también podría limitar la recolección excesiva de datos y obligar a los desarrolladores de modelos de IA a ser más selectivos con respecto a los datos, como comprar contenido de alto valor de forma específica, en lugar de alimentar al modelo con todo tipo de contenido de sitios web.
Matthew Prince dijo: "El motor de IA es como un queso suizo, el nuevo contenido original que realmente puede llenar los agujeros de ese queso es más valioso que el contenido repetitivo y de bajo valor que ocupa la mayor parte del espacio en la red hoy en día."
En su opinión, el tráfico nunca ha podido medir con precisión el valor del contenido. "Si pudiéramos comenzar a calificar y evaluar el contenido, no en función de cuánto tráfico genera, sino de acuerdo con su capacidad para promover el conocimiento (medido por cuántos agujeros existentes llena en el "queso suizo" de los motores de IA) – no solo podríamos ayudar a los motores de IA a avanzar más rápido, sino que también podríamos fomentar una nueva era dorada de creación de contenido de alto valor."
Sin embargo, los defensores de los derechos digitales pueden argumentar: ¿pueden los pequeños equipos de startups de IA, investigadores y comunidades de código abierto asumir tales costos de datos? ¿La investigación académica y la archivística benéfica, estos "rastreadores benignos", se verán obstaculizados y solo podrán acceder a fuentes de datos limitadas y de bajo valor?
En una realidad donde los ingresos publicitarios están en declive y los costos de tráfico están en aumento, ¿cuántos sitios web estarán dispuestos a abrirse gratuitamente a los rastreadores de IA para que se aprovechen? ¿Podría esto ser el comienzo de un "cierre" que haga que Internet pierda su espíritu de libertad y compartición?
¿Si toda la red bloquea por defecto las tarifas, esto podría inadvertidamente intensificar el "monopolio de las grandes empresas"? Después de todo, las grandes empresas tienen más dinero.
El modo "Pay Per Crawl" intenta, por un lado, resolver el problema de que la IA se beneficia del contenido sin retribuirlo, y por otro lado, también podría, sin querer, elevar la barrera de la innovación de la IA, volviendo a la antigua cuestión de la protección de derechos de autor y la apertura del conocimiento.
Por supuesto, Cloudflare simplemente otorga más autonomía a los sitios web. Los propietarios de los sitios tienen la libertad de elegir mantener gratuitos los proyectos de interés público y sin fines de lucro. El poder sigue estando en manos de los creadores. De todos modos, merecen recibir "compensación".
En palabras del CEO de Cloudflare, el objetivo de esta transformación es "construir un mejor internet". "Todavía no sabemos todas las respuestas, pero estamos colaborando con algunos de los mejores economistas y científicos de la computación para encontrar respuestas."
Actualmente, otros proveedores de CDN y seguridad (como Akamai, Fastly, Amazon CloudFront) aún no han anunciado funciones similares.
Manteniendo a los robots de araña de IA fuera de la puerta｜Fuente de la imagen: Cloudflare
Aunque la función "Pay Per Crawl" de Cloudflare parece ser solo una nueva característica de un producto CDN, en cierto sentido:
Puede ser una señal de que Internet está llegando a una encrucijada.
En la era de la búsqueda, el valor del contenido se transforma en ingresos publicitarios a través del acceso de los usuarios. Pero en la era de la IA, los usuarios pueden no hacer clic en los sitios web en absoluto: todas las respuestas se resumen y generan en los chatbots. ¿Deberíamos continuar permitiendo que los grandes modelos de IA extraigan contenido de la red de forma gratuita, o deberíamos volver al principio de "reciprocidad" en la obtención de datos, permitiendo que los creadores reciban la compensación que merecen? ¿Cuánto puede ser esa compensación?
Este experimento temprano podría estar allanando el camino para una nueva forma de economía de datos en la era de la IA. Independientemente de su éxito o fracaso, su postura es clara: la IA no puede agotar indefinidamente la paciencia de los creadores y convertir el trabajo humano en combustible gratuito bajo el nombre de "apertura".
"La red está experimentando una transformación, y su modelo de negocio también cambiará en consecuencia. En este proceso, tenemos la oportunidad de aprender de los aspectos positivos de los últimos 30 años para que sea mejor en el futuro."
En cuanto a si las cosas realmente pueden mejorar, como Cloudflare admite:
«Esto es solo el comienzo.»