Los agentes de IA ciertamente están teniendo un momento. Entre la reciente viralidad de garra abierta, Libro de muda y OpenAI planeando utilizar los recursos de su agente al siguiente nivel, podría ser simplemente el año del agente.
¿Por qué? Bueno, pueden planificar, escribir codigonavegar por la web y realizar tareas de varios pasos con poca o ninguna supervisión. Algunos incluso prometen gestionar su flujo de trabajo. Otros se coordinan con herramientas y sistemas en su escritorio.
El atractivo es obvio. Estos sistemas no sólo responden. Ellos acto – para ti y en tu nombre. Pero cuando los investigadores detrás del Índice de agentes de IA del MIT Catalogaron 67 sistemas de agentes desplegados, encontraron algo inquietante.
Los desarrolladores están ansiosos por describir lo que pueden hacer sus agentes hacer. Están mucho menos ansiosos por describir si estos agentes son seguro.
“Los principales desarrolladores y empresas emergentes de IA están implementando cada vez más sistemas de IA que pueden planificar y ejecutar tareas complejas con una participación humana limitada”. los investigadores escribieron en el artículo. “Sin embargo, actualmente no existe un marco estructurado para documentar… las capacidades de seguridad de los sistemas de agentes”.
Esta brecha queda clara en las cifras: alrededor del 70% de los agentes indexados proporcionan documentación y casi la mitad publica código. Pero sólo alrededor del 19% divulga una política de seguridad formal y menos del 10% informa evaluaciones de seguridad externas.
La investigación destaca que, si bien los desarrolladores se apresuran a promocionar las capacidades y la aplicación práctica de los sistemas de agentes, también se apresuran a proporcionar información limitada sobre seguridad y riesgos. El resultado es una especie de transparencia desequilibrada.
¿Qué se considera un agente de IA?
Los investigadores fueron deliberados sobre lo que eligieron y no todos los chatbots califican. Para ser incluido, un sistema tenía que operar con objetivos poco especificados y perseguir metas a lo largo del tiempo. También tuvo que tomar medidas que afectaban a un entorno con mediación humana limitada. Se trata de sistemas que deciden por sí mismos los pasos intermedios. Pueden dividir una instrucción amplia en subtareas, utilizar herramientas, planificar, completar e iterar.
Esta autonomía es lo que los hace poderosos. También es lo que aumenta las apuestas.
Cuando un modelo simplemente genera texto, sus fallas a menudo están contenidas en esa salida. Cuando un agente de IA puede acceder a archivos, enviar correos electrónicos, realizar compras o modificar documentos, los errores y las vulnerabilidades pueden ser dañinos y propagarse entre etapas. Aun así, los investigadores descubrieron que la mayoría de los desarrolladores no detallan públicamente cómo prueban estos escenarios.
El aforo es público, las barandillas no.
El patrón más llamativo en el estudio no está escondido en la parte inferior de una tabla; se repite a lo largo del artículo.
Los desarrolladores se sienten cómodos compartiendo demostraciones, puntos de referencia y la usabilidad de estos agentes de IA, pero son mucho menos consistentes al compartir evaluaciones de seguridad, procedimientos de prueba internos o auditorías de riesgos de terceros.
Este desequilibrio es más importante a medida que los agentes pasan de prototipos a actores digitales integrados en flujos de trabajo reales. Muchos de los sistemas indexados operan en dominios como la ingeniería de software y el uso de computadoras, entornos que a menudo involucran datos confidenciales y un control significativo.
El Índice de agentes de IA del MIT no afirma que la IA de los agentes sea completamente insegura, pero sí muestra que a medida que aumenta la autonomía, la transparencia estructurada sobre la seguridad no ha seguido el ritmo.
La tecnología se está acelerando. Las barreras de seguridad, al menos públicamente, siguen siendo más difíciles de ver.
