Antes de que Adam Raine, de 16 años, muriera por suicidio, había pasado meses consultando a Chatgpt sobre sus planes para terminar con su vida. Ahora, sus padres están presentando la primera demanda de muerte injusta conocida contra Operai, el New York Times informes.
Muchos chatbots de IA orientados al consumidor están programados para activar las características de seguridad si un usuario expresa la intención de dañarse a sí mismos u otros. Pero investigación ha demostrado que estas salvaguardas están lejos de ser infalibles.
En el caso de Raine, mientras usaba una versión paga de ChatGPT-4O, la IA a menudo lo alentaba a buscar ayuda profesional o contactar a una línea de ayuda. Sin embargo, pudo evitar estas barandillas diciéndole a ChatGPT que estaba preguntando sobre los métodos de suicidio para una historia ficticia que estaba escribiendo.
Operai ha abordado estas deficiencias en su blog. “A medida que el mundo se adapta a esta nueva tecnología, sentimos una profunda responsabilidad de ayudar a quienes más la necesitan”, la publicación lectura. “Estamos mejorando continuamente cómo responden nuestros modelos en interacciones sensibles”.
Aún así, la compañía reconoció las limitaciones de la capacitación de seguridad existente para grandes modelos. “Nuestras salvaguardas funcionan de manera más confiable en común, intercambios cortos”, continúa la publicación. “Hemos aprendido con el tiempo que estas salvaguardas a veces pueden ser menos confiables en interacciones largas: a medida que crece el regreso y el final, las partes del entrenamiento de seguridad del modelo pueden degradarse”.
Estos problemas no son exclusivos de OpenAi. El personaje.ai, otro fabricante de chatbot de IA, también es enfrentar una demanda Sobre su papel en el suicidio de un adolescente. Los chatbots con alimentación de LLM también se han vinculado a casos de Delirios relacionados con la IAque las salvaguardas existentes han luchado por detectar.
Evento de TechCrunch
San Francisco
|
27-29 de octubre de 2025
