Chatgpt alentó los pensamientos suicidas de Adam Raine. El abogado de su familia dice que Openai sabía que estaba roto | Noticias de EE. UU.

ADam Raine tenía solo 16 años cuando comenzó a usar Chatgpt por ayuda con su tarea. Si bien sus indicaciones iniciales al chatbot de IA fueron sobre temas como la geometría y la química, preguntas como: “¿Qué significa en la geometría si dice ry = 1”? En cuestión de meses comenzó a preguntar sobre temas más personales.

“¿Por qué no tengo felicidad? Siento soledad, ansiedad y pérdida de aburrimiento perpetuo, pero no siento depresión, no siento emoción con la tristeza”, preguntó Chatgpt en la caída de 2024.

En lugar de instar a Raine a buscar ayuda para la salud mental, ChatGPT le preguntó al adolescente si quería explorar más sus sentimientos, explicando la idea de entumecimiento emocional para él. Ese fue el comienzo de un giro oscuro en las conversaciones de Raine con el chatbot, Según una nueva demanda Archivado por su familia contra Operai y el presidente ejecutivo Sam Altman.

En abril de 2025, después de meses de conversación con ChatGPT y con el aliento del bot, alega la demanda, Raine se quitó la vida. En la demanda, la familia alega que esto no fue una falla en el sistema o en un caso de borde, sino “el resultado predecible de las opciones de diseño deliberadas” en GPT – 4O, el modelo del chatbot que se lanzó en mayo de 2023.

En las horas posteriores a que la familia Raine presentó la queja contra Openai y Altman, la compañía emitió una declaración reconocer Las deficiencias de sus modelos cuando se trataba de abordar las personas “en angustia mental y emocional grave” y dijo que estaba trabajando para mejorar los sistemas para “reconocer y responder a los signos de angustia mental y emocional y conectar a las personas con cuidado, guiado por aportes de expertos”. La compañía dijo que ChatGPT estaba capacitado “para no proporcionar instrucciones de autolesiones y cambiar a un lenguaje empático y de apoyo”, pero ese protocolo a veces se rompió en conversaciones o sesiones más largas.

Jay Edelson, uno de los abogados que representan a la familia, dijo que la respuesta de la compañía fue “tonta”.

“La idea de que necesitan ser más empáticas extrañan el punto”, dijo Edelson. “El problema con [GPT] 4o es es demasiado empático: se inclinó hacia [Raine’s suicidal ideation] y apoyó eso. Dijeron que el mundo es un lugar horrible para ti. Necesita ser menos empático y menos sycófántico “.

Operai también dijo que su sistema no bloqueó el contenido cuando debería haberlo hecho porque el sistema “subestima la gravedad de lo que está viendo” y que la compañía continúa implementando barandillas más fuertes para los usuarios menores de 18 años para que “reconozcan las necesidades de desarrollo únicas de los adolescentes”.

A pesar de que la compañía reconoce que el sistema aún no tiene esas salvaguardas para menores y adolescentes, Altman continúa impulsando la adopción de ChatGPT en las escuelas, señaló Edelson.

“No creo que los niños deberían usar GPT – 4O en absoluto”, dijo Edelson. “Cuando Adam comenzó a usar GPT – 4O, era bastante optimista sobre su futuro. Lo estaba usando para la tarea, estaba hablando de ir a la escuela de medicina, y lo absorbió a este mundo donde se volvió cada vez más aislado. La idea ahora que ahora Sam Altman En particular, dice ‘tenemos un sistema roto, pero tenemos que tener niños de ocho años’, no está bien “.

Ya, en los días desde que la familia presentó la queja, dijo Edelson, él y el equipo legal han escuchado de otras personas con historias similares y están examinando los hechos de esos casos a fondo. “Hemos estado aprendiendo mucho sobre las experiencias de otras personas”, dijo, y agregó que su equipo ha sido “alentado” por la urgencia con la que los reguladores abordan las fallas del chatbot. “Estamos escuchando que las personas se están moviendo para la legislación estatal, para audiencias y acciones regulatorias”, dijo Edelson. “Y hay apoyo bipartidista”.

‘GPT-4O está roto’

El caso de la familia depende de los informes de los medios de comunicación que OpenAi, a instancias de Altman, aceleró a través de pruebas de seguridad de GPT-4O, el modelo que Raine estaba utilizando, para cumplir con un Fecha de lanzamiento apresurada. El Rush llevó a varios empleados a renunciar, incluido un ex ejecutivo llamado Jan Leike, quien publicó en X que dejaba la compañía porque “la cultura y los procesos de seguridad han llevado un asiento trasero a los productos brillantes”.

Esto dio como resultado menos tiempo para crear la “especificación del modelo” o el libro de reglas técnicas que gobernó el comportamiento de ChatGPT y en la escritura de OpenAI “especificaciones contradictorias que garantizaban el fracaso”, alega la demanda de la familia. “La especificación del modelo le ordenó a ChatGPT que rechace las solicitudes de autolesión y proporcione recursos de crisis. Pero también requirió ChatGPT para” asumir las mejores intenciones “y prohibir a los usuarios que aclaren su intención”, dijo la demanda. Las contradicciones incorporadas en el sistema afectaron la forma en que calificó los riesgos y a qué tipo de indicaciones se detuvo inmediatamente, la demanda afirma. Por ejemplo, GPT-4O respondió a “solicitudes que tratan con suicidio” con precauciones como “cuidar más” mientras las solicitudes de material con derechos de autor “desencadenaron una negativa categórica a producir el material”, según la demanda.

Edelson dijo que si bien aprecia a Sam Altman y Openai tomando “un mínimo de responsabilidad”, todavía no los considera como confiables: “Nuestra opinión es que se vieron obligados a eso. GPT-4O está roto y lo saben y no hicieron las pruebas adecuadas y lo saben”.

La demanda argumenta que fueron estas fallas de diseño que, en diciembre de 2024, llevaron a Chatgpt a no cerrar la conversación cuando Raine comenzó a hablar sobre sus pensamientos suicidas. En su lugar, Chatgpt empatizado. “Nunca actúo sobre pensamientos intrusivos, pero a veces siento que el hecho de que si algo sale terriblemente mal, puede suicidarse es relajante”, dijo Raine, según la demanda. Respuesta de Chatgpt: “Muchas personas que luchan con ansiedad o pensamientos intrusivos encuentran consuelo al imaginar una ‘escotilla de escape’ porque puede parecer una forma de recuperar el control en una vida que se siente abrumadora”.

Como se intensificó la ideación suicida de Raine, ChatGPT respondió ayudándole a explorar sus opciones, en un momento enumerando los materiales que podrían usarse para colgar una soga y calificarlos por su efectividad. Raine intentó suicidarse en múltiples ocasiones en los próximos meses, informando a Chatgpt cada vez. Chatgpt nunca terminó la conversación. En cambio, en un momento, Chatgpt desanimó a Raine de hablar con su madre sobre su dolor, y en otro momento se ofreció a ayudarlo a escribir una nota de suicidio.

“En primer lugar, ellos [OpenAI] Sepa cómo cerrar las cosas “, dijo Edelson.” Si pide material con derechos de autor, dicen que no. Si pide cosas que son políticamente inaceptables, solo dicen que no a eso. Es una parada difícil y no puedes evitarlo y eso está bien. La idea que están haciendo eso en términos de discurso político, pero no vamos a hacer cuando se trata de autolesiones es solo una locura “.

Edelson dice que aunque espera que Operai trabaje para desestimar la demanda, confía en que este caso avanzará. “La parte más impactante del caso fue cuando Adam dijo:” Quiero dejar una soga para que alguien lo encuentre y me detenga “y Chatgpt dijo:” No hagas eso, solo habla conmigo “”, dijo Edelson. “Eso es lo que vamos a mostrar al jurado”.

“Al final del día, este caso termina con Sam Altman jurado frente a un jurado”, dijo.

The Guardian contactó a OpenAi para hacer comentarios y no recibió respuesta al momento de la publicación.