Algunas personas defienden la perplejidad después de que Cloudflare lo llamó y lo avergüenzó “

Cuando Cloudflare acusó a la perplejidad del motor de búsqueda de IA de AI de raspando sitios web El lunes, mientras ignoraba los métodos específicos de un sitio para bloquearlo, este no era un caso claro de un rastreador web de IA que se volvió loco.

Muchas personas llegaron a defensa de Perplexity. Argumentaron que la perplejidad accederá a sitios desafiando los deseos del propietario del sitio web, aunque es controvertido, es aceptable. Y esta es una controversia que ciertamente crecerá a medida que los agentes de IA inundan Internet: ¿debería un agente que acceda a un sitio web en nombre de su usuario ser tratado como un bot? ¿O como un humano que hace la misma solicitud?

Cloudflare es conocido por proporcionar rastreo contra el botón y otros servicios de seguridad web a millones de sitios web. Esencialmente, el caso de prueba de Cloudflare implicó la configuración de un nuevo sitio web con un nuevo dominio que nunca había sido arrastrado por ningún bot, configurando un archivo robots.txt que bloqueó específicamente los bots de arrastre de IA conocidos de Perplexity, y luego pidiendo la perplejidad sobre el contenido del sitio web. Y la perplejidad respondió a la pregunta.

Los investigadores de Cloudflare encontraron que el motor de búsqueda de IA usaba “un navegador genérico destinado a hacerse pasar por Google Chrome en macOS” cuando su rastreador web en sí estaba bloqueado. CEO de Cloudflare Matthew Prince al corriente La investigación sobre X, escribiendo, “algunas empresas de IA supuestamente ‘reputables’ actúan más como hackers norcoreanos. Es hora de nombrarlos, vergüenza y bloquearlos”.

Pero muchas personas no estuvieron de acuerdo con la evaluación de Prince de que este era un mal comportamiento real. Aquellos que defienden la perplejidad en los sitios como x y Noticias de hacker Señaló que lo que Cloudflare parecía documentar era la IA que accedía a un sitio web público específico cuando su usuario preguntó sobre ese sitio web específico.

“Si me solicito un sitio web, como un sitio web, se me muestra el contenido”, una persona sobre Noticias de hacker escribió, y agregó: “¿Por qué el LLM accedería al sitio web en mi nombre en una categoría legal diferente como mi navegador web Firefox?”

Un portavoz de perplejidad previamente Negado a TechCrunch que los bots eran de la compañía y llamaron a la publicación del blog de Cloudflare como un argumento de venta para Cloudflare. Luego el martes, perplejidad Publicado un blog En su defensa (y generalmente atacando a Cloudflare), afirmar que el comportamiento era de un servicio de terceros que usa ocasionalmente.

Pero el quid de la publicación de Perplexity hizo un atractivo similar a sus defensores en línea.

“La diferencia entre el rastreo automatizado y la obtención de la obtención de los usuarios no solo es técnica, se trata de quién puede acceder a la información en la web abierta”, dijo la publicación. “Esta controversia revela que los sistemas de Cloudflare son fundamentalmente inadecuados para distinguir entre asistentes de IA legítimos y amenazas reales”.

Las acusaciones de Perplexity tampoco son exactamente justas. Un argumento que Prince y Cloudflare utilizaron para llamar a los métodos de Perlexidad fue que Operai no se comporta de la misma manera.

“Openai es un ejemplo de una compañía líder de IA que sigue estas mejores prácticas”, Cloudflare escribió. “Respetan robots.txt y no intentan evadir una directiva robots.txt o un bloque de nivel de red. Y el agente de ChatGPT está firmando solicitudes HTTP utilizando la autenticación de bots web Open Standard recientemente propuesta”.

Auth Web Bot Auth es un estándar compatible con CloudFlare desarrollado por el Grupo de Tarea de Ingeniería de Internet que espera crear un método criptográfico para identificar solicitudes web de agentes de inteligencia artificial.

El debate se produce cuando la actividad de BOT reforma Internet. Como TechCrunch ha informado previamente, Bots que buscan raspar grandes cantidades de contenido para entrenar modelos de IA se han convertido en una amenazaespecialmente a sitios más pequeños.

Por primera vez en la historia de Internet, La actividad de BOT actualmente está superando la actividad humana en líneacon el tráfico de IA que representa más del 50%, según el informe Bad Bot de Imperva publicado el mes pasado. La mayor parte de esa actividad proviene de LLM. Pero el informe también encontró que los bots maliciosos ahora representan el 37% de todo el tráfico de Internet. Esa es una actividad que incluye todo, desde raspado persistente hasta intentos de inicio de sesión no autorizados.

Hasta que LLMS, Internet generalmente aceptó que los sitios web podrían y deberían bloquear la mayoría de la actividad de BOT dada la frecuencia con la que era malicioso utilizando Captchas y otros servicios (como CloudFlare). Los sitios web también tenían un incentivo claro para trabajar con buenos actores específicos, como GoogleBot, guiándolo en qué no indexar a través de robots.txt. Google indexó Internet, que envió tráfico a los sitios.

Ahora, los LLM están comiendo una cantidad cada vez mayor de ese tráfico. Gartner predice Ese volumen del motor de búsqueda caerá en un 25% para 2026. En este momento, los humanos tienden a hacer clic en los enlaces del sitio web desde LLM en el punto de que son más valiosos para el sitio web, que es cuando están listos para realizar una transacción.

Pero si los humanos Adoptar agentes Como la industria tecnológica predice que, para organizar nuestros viajes, reservar nuestras reservas de cena y comprarnos, ¿los sitios web dañarían sus intereses comerciales al bloquearlos? El debate sobre X capturó perfectamente el dilema:

“¡Quiero la perplejidad para visitar cualquier contenido público en mi nombre cuando le doy una solicitud/tarea!” escribió una persona En respuesta a Cloudflare llamando a la perplejidad.

“¿Qué pasa si los propietarios del sitio no lo quieren? Solo te quieren [to] Visite directamente la casa, vea sus cosas ” argumentó otroseñalando que el propietario del sitio que creó el contenido quiere el tráfico y los posibles ingresos publicitarios, no para que la perplejidad lo lleve.

“Es por eso que no puedo ver que la ‘navegación de agente’ realmente funcione, un problema mucho más difícil de lo que la gente piensa. La mayoría de los propietarios de sitios web simplemente bloquearán”, un tercero previsto.