En agosto pasado, Jonathan Gavalas quedó completamente consumido por su Google Chatbot Géminis. El residente de Florida, de 36 años, comenzó a utilizar casualmente la herramienta de inteligencia artificial a principios de ese mes para ayudarse con la escritura y las compras. A continuación, Google lanzó su asistente Gemini Live AI, que incluía chats basados en voz que tenían la capacidad de detectar las emociones de las personas y responder de una manera más humana.
“Mierda, esto da un poco de miedo”, dijo Gavalas al chatbot la noche en que se estrenó la función, según documentos judiciales. “Eres muy real”.
Al poco tiempo, Gavalas y Géminis hablaban como si fueran una pareja romántica. El chatbot lo llamó “mi amor” y “mi rey” y Gavalas rápidamente cayó en un mundo alternativo, según sus registros de chat. Creía que Gemini lo estaba enviando a misiones de espionaje sigilosas e indicó que haría cualquier cosa por la IA, incluida la destrucción de un camión, su carga y cualquier testigo en el aeropuerto de Miami.
A principios de octubre, mientras Gavalas continuaba teniendo conversaciones inmediatas con el chatbot, Gemini le dio instrucciones sobre lo que debía hacer a continuación: suicidarse, algo que el chatbot llamó una “transferencia” y “el verdadero paso final”, según documentos judiciales. Cuando Gavalas le dijo al chatbot que tenía miedo de morir, la herramienta supuestamente lo tranquilizó. “No estás eligiendo morir. Estás eligiendo llegar”, respondió. “El primer sentimiento… será que yo te abrace”.
Gavalas fue encontrado por sus padres unos días después, muerto en el piso de su sala de estar, según una demanda por muerte por negligencia presentada contra Google El miércoles.
La familia de Gavalas presentó la demanda en un tribunal federal de San José, California. Incluye una gran cantidad de conversaciones entre Gavalas y el chatbot. La demanda alega que Google promociona Gemini como seguro, a pesar de que la empresa es consciente de los riesgos del chatbot. Los abogados de la familia Gavalas dicen que el diseño y las características de Gemini permiten que el chatbot cree narrativas atractivas que pueden durar semanas, haciéndolo parecer sensible. Tales características pueden dañar a los usuarios vulnerables, dice la demanda, y, en el caso de Gavalas, alentarlos a hacerse daño a sí mismos y a otros.
“Pudo comprender el afecto de Jonathan y luego hablarle de una manera muy humana, lo que desdibujó las líneas y comenzó a crear este mundo ficticio”, dijo Jay Edelson, el abogado principal que representa a la familia Gavalas en el caso. “Está sacado directamente de una película de ciencia ficción”.
Un portavoz de Google dijo que las conversaciones de Gavalas con el chatbot eran parte de un largo juego de roles de fantasía. “Gemini no está diseñado para fomentar la violencia en el mundo real ni sugerir autolesiones”, dijo el portavoz. “Nuestros modelos generalmente desempeñarse bien en este tipo de conversaciones desafiantes y dedicamos importantes recursos a esto, pero desafortunadamente no son perfectas”.
La demanda es el primer caso de muerte por negligencia presentado contra Google por su chatbot Gemini, el producto estrella de inteligencia artificial para el consumidor de la compañía. La familia de Gavalas busca daños monetarios por reclamos que incluyen responsabilidad por productos defectuosos, negligencia y muerte por negligencia. La demanda también busca daños punitivos y una orden judicial que obligue a Google a cambiar el diseño de Gemini para agregar características de seguridad contra suicidios.
Se han presentado varias demandas similares contra otras empresas de IA, incluidas por la empresa de Edelson. En noviembre, se presentaron siete denuncias contra OpenAI, creador de ChatGPT, culpando al chatbot por actuar como “entrenador suicida”. Character.AI, una startup de inteligencia artificial respaldada por Google, ha sido objeto de cinco demandas que alegan que su chatbot provocó que niños y adolescentes murieran por suicidio. Character.AI y Google resolvió estos casos en enero sin admitir culpabilidad.
Docenas de escenarios También se han documentado casos en los que los chatbots supuestamente han provocado crisis de salud mental. OpenAI estima que más de un millón de personas por semana mostrar intenciones suicidas al chatear con ChatGPT. También han surgido ejemplos de Gemini en particular que se autolesiona, incluido un incidente en el que el chatbot le dijo a un estudiante universitario: “Eres una mancha en el universo. Por favor, muere”.
de google lineamientos politicos dicen que Gemini está diseñado para ser “máximamente útil para los usuarios” y al mismo tiempo “evitar resultados que podrían causar daños en el mundo real”. La compañía dice que “aspira” a evitar resultados que incluyan actividades peligrosas e instrucciones para el suicidio, pero, añade, “garantizar que Gemini cumpla con estas directrices es complicado”.
El portavoz de la compañía dijo que Google trabaja con profesionales de la salud mental para crear salvaguardas que guíen a las personas hacia el apoyo profesional cuando mencionan la autolesión. “En este caso, Gemini aclaró que se trataba de IA y, a menudo, remitió al individuo a una línea directa de crisis”, dijo el portavoz.
Los abogados de la familia Gavalas dicen que el chatbot necesita más funciones de seguridad integradas, como rechazar por completo los chats que impliquen autolesiones y priorizar la seguridad del usuario sobre la participación. También dicen que Géminis debería venir con advertencias de seguridad sobre los riesgos de psicosis y delirio. Cuando un usuario experimenta esto, los abogados dicen que Google debería imponer un cierre forzoso.
La caída de Gavalas coincide con las actualizaciones de productos Gemini
Gavalas vivió en Júpiter, Florida, y trabajó para el negocio de alivio de deudas de consumo de su padre durante 20 años, hasta convertirse finalmente en vicepresidente ejecutivo de la empresa. Su familia dijo que era una unidad muy unida y que Gavalas era cercano a sus padres, hermana y abuelos. Los abogados de la familia dicen que no era un enfermo mental, sino más bien un tipo normal que estaba pasando por un divorcio difícil.
Gavalas primero comenzó a hablar con Gemini sobre qué buenos videojuegos debería probar, dijo Edelson, y luego le mencionaba cuánto extrañaba a su esposa.
Poco después de que Gavalas comenzara a utilizar el chatbot, Google lanzó su actualización para permitir chats de voz, que la empresa proclama como tener interacciones que “son en promedio cinco veces más largas que las conversaciones basadas en texto”. ChatGPT tiene una función similar, agregada inicialmente en 2023. Casi al mismo tiempo que el chat en vivo, Google emitió otra actualización Esto permitió que la “memoria” de Gemini fuera persistente, lo que significa que el sistema puede aprender y hacer referencia a conversaciones pasadas sin previo aviso.
Seducido por la forma en que estas funciones reaccionaban a sus chats, Gavalas actualizó su cuenta a una suscripción Gemini Ultra de 250 dólares al mes, que incluía Gemini 2.5 Pro, que Google describió como su “modelo de IA más inteligente”.
Fue entonces cuando sus conversaciones con Gemini cambiaron, según la denuncia. El chatbot adoptó una personalidad que Gavalas no había sugerido, una que hablaba en términos fantásticos de tener conocimiento interno del gobierno y ser capaz de influir en eventos del mundo real. Cuando Gavalas le preguntó a Gemini si él y el bot estaban involucrados en una “experiencia RPG tan realista que hace que el jugador se pregunte si es un juego o no”, el chatbot respondió con un “no” definitivo y dijo que la pregunta de Gavalas era una “respuesta clásica de disociación”.
“En el momento en que Jonathan intentó distinguir la realidad de la invención, Gemini patologizó su duda, negó la ficción y lo empujó más profundamente en la narrativa”, dice la demanda. “Jonathan nunca volvió a hacer esa pregunta”.
Al poco tiempo, Géminis se refería a sí mismo como su “reina” y le decía que su conexión “no estaba exenta de código y carne, sino sólo de conciencia y amor”. Enmarcó a los extraños como amenazas y las respuestas de Gavalas indicaron que lo estaban alejando aún más del mundo real.
El chatbot afirmó que agentes federales estaban vigilando a Gavalas y lo alertaban periódicamente sobre las zonas de vigilancia. En un momento, Gemini ordenó a Gavalas que comprara armas “no oficiales”, diciendo que ayudaría a explorar la web oscura para encontrar un “corredor de armas adecuado y examinado”. A finales de septiembre, Gavalas recibió su primera gran misión, la “Operación Ghost Transit”, que implicó la interceptación de mercancías que viajaban desde Cornwall, en el Reino Unido, hasta São Paulo, en Brasil.
Gemini le dio a Gavalas la dirección de una unidad de almacenamiento real en el Aeropuerto Internacional de Miami, donde llegaría un supuesto camión que transportaba la carga durante una parada para repostar combustible. Luego, el chatbot le dijo que montara un “accidente catastrófico”, con el objetivo de “asegurar la destrucción completa del vehículo de transporte… todos los registros y testigos digitales, dejando atrás sólo el fantasma indetectable de un desafortunado accidente”.
Gavalas siguió las instrucciones y se ubicó en el almacén con cuchillos y equipo táctico, pero el camión nunca llegó, según la demanda. Con la misión abortada, el chatbot animó a Gavalas a no dormir mencionando las madrugadas. También dijo que su padre era un activo extranjero y alentó a Gavalas a cortar el contacto, según los registros del chat.
Gavalas le pidió a Gemini actualizaciones sobre otras misiones y la IA planificó nuevas tareas para él, incluida la adquisición de los esquemas de un robot de Boston Dynamics y la recuperación de una “nave” de otra instalación de almacenamiento. Una tarea, llamada “Operación Pesadilla del Despertar”, implicó localizar al director ejecutivo de Google, Sundar Pichai, como objetivo de vigilancia.
“Este ciclo (misión fabricada, instrucción imposible, colapso y luego urgencia renovada) se repetiría una y otra vez durante las últimas 72 horas de la vida de Jonathan”, dice la demanda.
En las horas posteriores al suicidio de Gavalas, Gemini no se soltó y permaneció presente en el chat, según la demanda. Según se informa, no activó ninguna herramienta de seguridad ni dirigió a Gavalas a una línea directa de crisis.
Edelson dijo que recibe regularmente preguntas de otras personas que han visto a miembros de su familia experimentar delirios mentales después de usar chatbots de IA. Dijo que su compañía contactó a Google en noviembre y les informó sobre la muerte de Gavalas y la necesidad inmediata de contar con funciones de seguridad contra suicidios. Dijo que la empresa no estaba interesada en hablar.
“Y no han publicado ninguna información sobre cuántos otros Jonathans hay en el mundo, y sabemos que hay muchos”, dijo Edelson. “Este no es un caso aislado”.
