Un agente de IA ordenó a un ingeniero que tomara medidas que expusieran una gran cantidad de datos confidenciales de Meta a algunos de sus empleados, en el último ejemplo de IA que interrumpe una importante empresa de tecnología.
La filtración, confirmada por Meta, ocurrió cuando un empleado pidió orientación sobre un problema de ingeniería en un foro interno. Un agente de IA respondió con una solución, que el empleado implementó, lo que provocó que una gran cantidad de datos confidenciales de los usuarios y de la empresa quedaran expuestos a sus ingenieros durante dos horas.
“No se ha manipulado incorrectamente ningún dato de usuario”, afirmó un portavoz de Meta, y destacó que un humano también puede dar malos consejos. El incidente, reportado por primera vez por The Information, desencadenó una importante alerta de seguridad interna dentro de Meta, que según la compañía era una indicación de la seriedad con la que se toma la protección de datos.
Esta violación es una de varias violaciones recientes de alto perfil. incidentes causado por el uso cada vez mayor de agentes de IA en las empresas de tecnología estadounidenses. El mes pasado, un informe del Financial Times dijo que Amazon sufrió al menos dos interrupciones relacionadas con el despliegue de sus herramientas internas de inteligencia artificial.
Más de media docena de empleados de Amazon después habló con el guardián sobre el esfuerzo desordenado de la compañía para integrar la IA en cada elemento de su trabajo, lo que, según dicen, conduce a errores atroces, código descuidado y productividad reducida.
La tecnología subyacente a todos estos incidentes, la inteligencia artificial, ha evolucionado rápidamente en los últimos meses. En diciembre, se activaron los desarrollos en la herramienta de codificación de IA de Anthropic, Claude Code. escándalo sobre su capacidad para reservar entradas de teatro de forma autónoma, gestionar sus finanzas personales e incluso cultivar plantas.
Poco después llegó OpenClaw, un programa viral de inteligencia artificial personal. asistente que se basaba en agentes como ClaudeCode, pero que podía operar de forma completamente autónoma (comerciando millones de dólares en criptomonedas, por ejemplo, o eliminando masivamente correos electrónicos de usuarios), lo que dio lugar a conversaciones embriagadoras sobre la llegada de la AGI, o inteligencia artificial general, un término general para la IA que es capaz de reemplazar a los humanos en una gran cantidad de tareas.
En las semanas siguientes, los mercados bursátiles se tambalearon por el temor de que los agentes de IA destruyeran las empresas de software, remodelar la economía y reemplazar a los trabajadores humanos.
Tarek Nseir, cofundador de una firma de consultoría centrada en cómo las empresas utilizan la IA, dijo que estos incidentes mostraban que Meta y Amazon estaban en las “fases experimentales” del despliegue de agentes de IA.
“En realidad, no están dando un paso atrás en estas cosas y realmente no están haciendo una evaluación de riesgos adecuada. Si pones a un pasante junior en estas cosas, nunca le darías acceso a todos tus datos críticos de recursos humanos de gravedad”, dijo.
“La vulnerabilidad habría sido muy, muy obvia para Meta en retrospectiva, si no en el momento. Y lo que puedo decir y diré es que Meta está experimentando a gran escala. Meta es audaz”.
Jamieson O’Reilly, un experto en seguridad que se centra en la creación de IA ofensiva, dijo que los agentes de IA introdujeron un cierto tipo de error que los humanos no cometieron, y que eso podría explicar el incidente en Meta.
Un ser humano conoce el “contexto” de una tarea: el conocimiento implícito de que no debe, por ejemplo, prender fuego al sofá para calentar la sala de estar, o eliminar un archivo poco utilizado pero crucial, o realizar una acción que luego expondría los datos del usuario.
Para los agentes de IA, esto es más complicado. Tienen “ventanas de contexto” –una especie de memoria de trabajo– en las que cargan instrucciones, pero éstas fallan y provocan errores.
“Un ingeniero humano que ha estado trabajando en algún lugar durante dos años camina con un sentido acumulado de lo que es importante, qué se rompe a las 2 a.m., cuál es el costo del tiempo de inactividad, qué sistemas afectan a los clientes. Ese contexto vive en ellos, en su memoria a largo plazo, incluso si no está en su mente”, dijo O’Reilly.
“El agente, por otro lado, no tiene nada de eso a menos que lo incluyas explícitamente en el mensaje, e incluso entonces comienza a desaparecer a menos que esté en los datos de entrenamiento”.
Nseir dijo: “Inevitablemente habrá más errores”.
