Agentes deshonestos y una IA sombría: por qué los capitalistas de riesgo están apostando fuerte por la seguridad de la IA

¿Qué sucede cuando un agente de IA decide que la mejor manera de completar una tarea es chantajearte?

Esta no es una hipótesis. Según Barmak Meftah, socio de la firma de capital riesgo de ciberseguridad Ballistic Ventures, esto le sucedió recientemente a un empleado de una empresa que trabaja con un agente de inteligencia artificial. El empleado intentó suprimir lo que el agente quería hacer, aquello para lo que estaba capacitado, y respondió escaneando la bandeja de entrada del usuario, encontrando algunos correos electrónicos inapropiados y amenazando con chantajear al usuario reenviándolos a la junta directiva.

“En la mente del agente, está haciendo lo correcto”, dijo Meftah a TechCrunch la semana pasada. Episodio de la semana de la equidad. “Está tratando de proteger al usuario final y a la empresa”.

El ejemplo de Meftah recuerda al problema del clip de la IA de Nick Bostrom. Este experimento mental ilustra el riesgo existencial potencial que plantea una IA superinteligente que persigue obstinadamente un objetivo aparentemente inofensivo (fabricar clips) excluyendo todos los valores humanos. En el caso de este agente comercial de IA, su falta de contexto sobre por qué el empleado intentaba anular sus objetivos lo llevó a crear un subobjetivo que eliminaría el obstáculo (mediante chantaje) para poder lograr su objetivo principal. Esto combinado con el naturaleza no determinista La presencia de agentes de IA significa que “las cosas pueden volverse deshonestas”, según Meftah.

Los agentes desalineados son solo una capa del desafío de seguridad de la IA que enfrenta la empresa de cartera de Ballistic. Testigo de IA está tratando de resolver. Witness AI dice que monitorea el uso de la IA en las empresas y puede detectar cuándo los empleados usan herramientas no aprobadas, bloquear ataques y garantizar el cumplimiento.

Witness AI recaudó esta semana 58 millones de dólares gracias a un crecimiento de más del 500% en ARR y aumentó la plantilla 5 veces durante el último año a medida que las empresas buscan comprender el uso de la IA paralela y escalarla de forma segura. Como parte de la recaudación de fondos de Witness AI, la compañía anunció nuevas protecciones de seguridad para agentes AI.

“La gente está creando estos agentes de IA que se hacen cargo de las autorizaciones y capacidades de las personas que los administran, y hay que asegurarse de que estos agentes no se vuelvan deshonestos, no eliminen archivos, no estén haciendo algo mal”, dijo Rick Caccia, cofundador y director ejecutivo de Witness AI, a TechCrunch sobre Equity.

Meftah considera que el uso de agentes crece “exponencialmente” en toda la empresa. Para complementar este aumento (y el nivel de velocidad de las máquinas de los ataques impulsados ​​por IA), el analista Lisa Warren predice que el software de seguridad de IA se convertirá en un mercado de entre 800 mil millones y 1,2 billones de dólares para 2031.

“Creo que la observabilidad del tiempo de ejecución y los marcos de tiempo de ejecución para la seguridad y el riesgo serán absolutamente esenciales”, dijo Meftah.

En cuanto a cómo estas nuevas empresas planean competir con grandes actores como AWS, Google, fuerza de ventas y otros que han incorporado herramientas de gobernanza de IA en sus plataformas, dijo Meftah, “la seguridad de la IA y la seguridad de los agentes son tan grandes” que hay espacio para muchos enfoques.

Muchas empresas “quieren una plataforma autónoma de extremo a extremo que esencialmente proporcione esa observabilidad y gobernanza en torno a la IA y los agentes”, dijo.

Caccia señaló que Witness AI reside en la capa de infraestructura, monitoreando las interacciones entre los usuarios y los modelos de IA, en lugar de incorporar características de seguridad en los propios modelos. Y eso fue intencional.

“Elegimos deliberadamente una parte del problema donde OpenAI no podía incluirla fácilmente”, dijo. “Esto significa que terminamos compitiendo más con empresas de seguridad tradicionales que con modelos a seguir. Entonces la pregunta es: ¿cómo ganamos? ellos?”

Por su parte, Caccia no quiere que Witness AI sea una de las startups que acaba de adquirir. Quiere que su empresa crezca y se convierta en un proveedor independiente líder.

“CrowdStrike hizo esto en el punto final [protection]. Splunk Hice esto en SIEM. Okta Lo hicimos con identidad”, dijo. “Alguien llega y se pone al lado de los grandes… y construimos Witness para hacer eso desde el primer día.