Los agentes de IA ahora brindan más acceso y más conexiones a los sistemas empresariales que cualquier otro software del entorno. Esto los convierte en una superficie de ataque más grande que cualquier cosa que los equipos de seguridad hayan tenido que controlar antes, y la industria aún no cuenta con un marco para ello. “Si se utiliza este vector de ataque, podría resultar en una violación de datos, o incluso algo peor”, dijo Spiros Xanthos, fundador y director ejecutivo de Resolve AI, en una conferencia reciente. Evento de la serie VentureBeat AI Impact. Las estructuras de seguridad tradicionales se construyen en torno a interacciones humanas. Todavía no existe una estructura acordada para los agentes de IA que tengan personalidades y puedan trabajar de forma autónoma, señaló Jon Aniano, vicepresidente senior de productos y aplicaciones CRM de Zendesk, en el mismo evento. La IA agente se está moviendo más rápido de lo que las empresas pueden construir barreras de seguridad, y Protocolo de contexto modelo (MCP)Al mismo tiempo que reduce la complejidad de la integración, empeora el problema. “En este momento, es un problema sin resolver porque estamos en el salvaje oeste”, dijo Aniano. “Ni siquiera tenemos un protocolo técnico definido entre agentes en el que todas las empresas estén de acuerdo. ¿Cómo equilibrar las expectativas del usuario con lo que mantiene segura su plataforma?”
MCP sigue siendo “extremadamente permisivo”
Las empresas están cada vez más conectadas a servidores MCP porque simplifican la integración entre agentes, herramientas y datos. Sin embargo, los servidores MCP tienden a ser “extremadamente permisivos”, afirmó. Son “probablemente peores que una API”, dijo, porque las API al menos tienen más controles que imponer a los agentes. Los agentes actuales actúan en nombre de los seres humanos basándose en permisos explícitos, estableciendo así la responsabilidad humana. “Pero podríamos tener docenas, cientos de agentes en el futuro con su propia identidad y su propio acceso”, dijo Xanthos. “Se convierte en una matriz muy compleja”. Aunque su startup está desarrollando agentes autónomos de IA para ingeniería de confiabilidad del sitio (SRE) y gestión de sistemas, reconoció que la industria “carece por completo del marco” para agentes autónomos. “Depende totalmente de nosotros y de cualquiera de los agentes de construcción determinar qué restricciones imponerles”, dijo. Y los clientes deben poder confiar en esas decisiones. Algunas herramientas de seguridad existentes ofrecen acceso detallado (Splunk, por ejemplo, ha desarrollado un método para proporcionar acceso a ciertos índices en almacenes de datos subyacentes, señaló), pero la mayoría son más amplias y están más orientadas a las personas. “Estamos tratando de resolver esto con las herramientas existentes”, dijo. “Pero no creo que sean suficientes para la edad de los agentes”.
¿Quién es responsable cuando una IA autentica incorrectamente a un usuario?
En Zendesk y otros proveedores de plataformas de gestión de relaciones con los clientes (CRM), la IA está involucrada en una variedad de interacciones de los usuarios, señaló Aniano; de hecho, ahora se encuentra en un “volumen y escala que no hemos contemplado como empresas y como sociedad”.
Puede resultar complicado cuando la IA ayuda a los agentes humanos; la pista de auditoría puede convertirse en un laberinto. “Así que ahora tienes un humano hablando con un humano que está hablando con una IA”, señaló Aniano. “El humano le dice a la IA que actúe. ¿Quién tiene la culpa si es una acción equivocada?” Esto se vuelve aún más complicado cuando hay “múltiples piezas de IA y múltiples humanos” en la mezcla. Para evitar que los agentes se descarrilen, Zendesk tiende a ser “muy estricto” en cuanto al acceso y el alcance; sin embargo, los clientes pueden definir sus propias protecciones según sus necesidades. En la mayoría de los casos, la IA puede acceder a fuentes de conocimiento, pero no escribe código ni ejecuta comandos en servidores, dijo Aniano. Si una IA llama a una API, será “diseñada y sancionada declarativamente”, y las acciones se convocarán específicamente. Sin embargo, la demanda de los clientes está inundando estos entornos y “de momento mantenemos las puertas cerradas”, afirmó. La industria debe desarrollar estándares concretos para las interacciones de los agentes. “Estamos entrando en un mundo en el que, con cosas como MCP que pueden descubrir herramientas automáticamente, vamos a tener que crear nuevos métodos de seguridad para decidir con qué herramientas pueden interactuar estos robots”, dijo Aniano. Cuando se trata de seguridad, las empresas se preocupan cuando la IA se hace cargo de tareas de autenticación como enviar y procesar contraseñas de un solo uso (OTP), códigos SMS u otros métodos de verificación en dos pasos, dijo. ¿Qué sucede si una IA autentica o identifica incorrectamente a alguien? Esto puede provocar la filtración de datos confidenciales o abrir la puerta a los atacantes. “Ahora hay un espectro, y el final de ese espectro hoy es un ser humano”, dijo Aniano. Sin embargo, “el final de ese espectro mañana podría ser un agente especializado diseñado para realizar el mismo tipo de intuición o interacción a nivel humano”. Los propios clientes se encuentran en un espectro de adopción y comodidad. En determinadas empresas (especialmente en los servicios financieros u otros entornos altamente regulados) los seres humanos aún deben participar en la autenticación, señaló Aniano. En otros casos, las empresas heredadas o de la vieja escuela dependen únicamente de humanos para autenticar a otros humanos. Señaló que Zendesk está experimentando con nuevos agentes de IA que están “un poco más conectados a los sistemas” y trabajando con un grupo selecto de clientes en torno a la protección.
Se acerca la autorización permanente
En algún futuro, es posible que se confíe más en los agentes que en los humanos para realizar algunas tareas y se les otorguen permisos “mucho más allá” de los que tienen los humanos hoy en día, dijo Xanthos. Pero estamos muy lejos de eso y, en la mayoría de los casos, el miedo a que algo salga mal es lo que impide que las empresas avancen. “Lo cual es un buen miedo, ¿verdad? No digo que sea algo malo”, dijo. Muchas empresas simplemente aún no se sienten cómodas con un agente que ejecute cada paso de un flujo de trabajo o que cierre completamente el ciclo por sí solo. Todavía quieren revisión humana. Resolve AI está a punto de otorgar a los agentes autorización permanente en algunos casos que son “generalmente seguros”, como la codificación; A partir de ahí, pasarán a escenarios más abiertos que no sean tan riesgosos, explicó Xanthos. Pero reconoció que siempre habrá situaciones muy riesgosas en las que los errores de la IA podrían “cambiar el estado del sistema de producción”, como él dijo. Sin embargo, en última instancia: “Obviamente no hay vuelta atrás; esto avanza más rápido que quizás incluso los dispositivos móviles. Entonces la pregunta es: ¿qué hacemos al respecto?”.
Qué pueden hacer ahora los equipos de seguridad
Ambos oradores señalaron las medidas provisionales disponibles en virtud de los instrumentos existentes. Xanthos señaló que algunas herramientas, incluido Splunk, ya ofrecen controles de acceso detallados a nivel de índice que se pueden aplicar a los agentes. Aniano describió el enfoque de Zendesk como un punto de partida práctico: llamadas API diseñadas declarativamente con acciones sancionadas explícitamente, límites estrictos de acceso y alcance, y revisión humana antes de expandir los permisos de los agentes.
El principio subyacente, como dijo Aniano: “Siempre estamos revisando estas puertas y viendo cómo podemos ampliar la apertura”, es decir, no conceder autorización permanente hasta que haya validado cada ampliación.
