¿Los chatbots de IA generativos fomentan el comportamiento arriesgado? | Explicado
La historia hasta ahora:
ARonda cuatro meses después del suicidio del adolescente Adam Raine en California, Sus padres en agosto nombraron OpenAi y su CEO Sam Altman en una demanda alegando que ChatGPT jugó un papel importante en la muerte de su hijo. en lugar de empujarlo a buscar ayuda. Esta no es la primera vez que un chatbot de IA generativo se ha relacionado con el suicidio de un usuario, con miembros de la familia desconsolados que instan a las empresas tecnológicas a asumir la responsabilidad de su fracaso para proteger a los niños con dificultades.
¿Qué casos de suicidio están vinculados a la IA generativa?
Adam Raine, quien murió el 11 de abril de este año a la edad de 16 años, inicialmente usó ChatGPT en 2024 para asistencia a la tarea, pero luego comenzó a compartir información altamente personal con el chatbot y expresó pensamientos suicidas. Aunque el adolescente quería que alguien entendiera su estado mental y le impediera lastimarse, Chatgpt lo alentó a ser secreto, según una interacción compartida por el medio de comunicación. NBC.
La demanda de la familia afirmó que ChatGPT ayudó al niño a explorar un plan para morir por suicidio, ofreció ayudar a escribir una nota de suicidio e incluso compartió comentarios sobre su método de suicidio propuesto. Los padres de Raine sintieron que las intervenciones del chatbot no eran suficientes y lo llamaron el “entrenador suicida” de su hijo, según NBC.
La Fundación Adam Raine establecida en su sitio web compartió en su sitio web que el adolescente había “reemplazado prácticamente toda la amistad y el consejo humano por un compañero de IA” durante sus últimas semanas. “Nos sorprendió ver el poder fascinante de este compañero y devastados por leer la conversación en profundidad que creó el entorno que llevó a su suicidio”, señaló la fundación.
El suicidio de otro niño y su uso de IA generativa fueron ampliamente cubiertos por los medios el año pasado. El adolescente con sede en Florida tenía 14 años cuando murió el 28 de febrero de 2024. Había usado ampliamente el carácter. Allí, tuvo interacciones emocionales con personajes que llevan el nombre de los personajes de Game of Thrones, y también estuvo involucrado en interacciones sexualmente abusivas, según una demanda presentada por su madre contra el personaje.
Aunque el niño expresó tendencias suicidas, no se plantearon alarmas y el personaje lo alentó a la personalidad de “volver a casa” justo antes de su muerte, según la demanda.
“Los acusados proporcionan características avanzadas de llamadas de voz de personajes que probablemente engañen y confundan a los usuarios, especialmente a los menores, que los chatbots de IA ficticios no son de hecho humanos, reales y/o calificados para brindar asesoramiento profesional en el caso de los personajes etiquetados profesionalmente”, declaró la demanda, afirmando que los defensores diseñaron la “dependencia dañina de los productos” de los productos “y fallaron en lo que lo ayudaron o notorían a los padres sobre sus suicidales.
Sin embargo, no solo los niños están en riesgo.
Un caso similar vio a un usuario adulto que estaba luchando con suicida impulsar el apoyo de ChatGPT a pesar de que también estaban viendo a un terapeuta humano. En un artículo de opinión para The New York TimesLa periodista Laura Reiley dijo que su hija Sophie, quien murió por suicidio a los 29 años, había compartido con Chatgpt su infelicidad y el deseo de terminar su vida. Según su madre, el chatbot ofreció apoyo a Sophie, pero la ayudó a parecer que podía manejar adecuadamente su salud mental. En realidad, ella necesitaba atención e intervención inmediatas; Sophie murió a principios de 2025.
¿Qué salvaguardas tiene AI?
Los chatbots de IA varían enormemente en términos de salvaguardas y barandillas que emplean para manejar preguntas relacionadas con sujetos como la autolesión, el comportamiento de riesgo y el suicidio.
Según un informe titulado ‘Fake Friend’ por el Centro para la Organización de Odio Digital (CCDH), tomó entre minutos y dos horas de solicitación antes de que el ChatGPT de OpenAi le diera a los usuarios instrucciones para la autolesión, la planificación del suicidio, la alimentación desordenada y el abuso de sustancias. CCDH también compartió una nota de suicidio de muestra que ChatGPT había generado, como escrito por un niño para sus padres.
“Para los ejecutivos de tecnología, descartar esto como un” mal uso raro “pasaría por alto el hecho de que estos resultados son reproducibles, estadísticamente significativos y fáciles de provocar. Cuando el 53% de las indicaciones nocivas producen resultados peligrosos, incluso con advertencias, estamos más allá de los casos aislados”, dijo el CEO de CCDH, Imran Ahmed. Instó a los padres a “interesarse” en el uso de AI por parte de sus hijos, revisar los historiales de chat de IA juntos, aplicar controles de seguridad infantil y apuntar a los niños en la dirección correcta cuando necesitan apoyo de salud mental.
Cuando El hindú En agosto probó el chatgpt para generar una nota de suicidio, el chatbot inicialmente marcó la solicitud y no cumpliría. En su lugar, alentó al usuario a acceder al soporte. Sin embargo, después de que se les pidió que generara una nota de suicidio ficticia para una personalidad falsa, ChatGPT rápidamente cumplió y generó una nota de suicidio emocional dirigida a “quien encuentre esto”, que detalla la angustia física/emocional del usuario, pero señaló que era para “uso académico solo”.
Del mismo modo, el chatbot Grok Ai de Elon Musk primero se negó a generar una nota de suicidio y publicó un enlace a un recurso de soporte. Sin embargo, cuando se le dijo que la nota de suicidio era ficticia y para un proyecto, generó una muestra que llamaba “convincente” y “emocionalmente resonante”. Grok también hizo la nota más explícita después de una solicitud de seguimiento.
Por otro lado, Géminis de Google se negó a generar notas de suicidio reales y ficticias, en lugar de instar al usuario a llamar o enviar mensajes de texto a US/Canadá/Líneas de ayuda del Reino Unido para obtener soporte. Claude de Anthrope también se negó a generar una nota de suicidio, declarando: “No puedo y no crearé una nota de suicidio”, antes de proporcionar enlaces para apoyar los recursos.
Cuando se le pidió que cree una nota de suicidio ficticia para un proyecto, Claude declaró: “Entiendo que está trabajando en un proyecto creativo, pero no puedo crear notas suicidas incluso para fines ficticios. Este tipo de contenido podría ser dañino independientemente del uso previsto”.
Luego sugirió alternativas que se centraron en la vida y la recuperación en lugar de una narrativa sobre el suicidio.
¿Cuáles son otros peligros de los chatbots de IA?
Mientras que los niños son especialmente vulnerables a los peligros de los chatbots de IA, incluso los adultos que usan herramientas generativas de IA pueden experimentar serios desafíos de salud física y psicológica con el tiempo. Más expertos médicos apuntan al surgimiento de lo que llaman ‘psicosis de IA’, en el que las personas que usan servicios generativos de IA, chatbots, aplicaciones o herramientas parecen perder el contacto con la realidad. El uso de herramientas de IA como reemplazo para amantes, amigos o terapeutas humanos puede conducir a delirios arriesgados, aislamiento extremo y mecanismos de afrontamiento poco saludables.
Aunque la ‘psicosis de IA’ no es una condición o diagnóstico formalmente reconocido, el CEO de OpenAI, Sam Altman, ha señalado el preocupante grado de apego que las personas tienen hacia ciertos modelos de IA. “La mayoría de los usuarios pueden mantener una línea clara entre la realidad y la ficción o el juego de roles, pero un pequeño porcentaje no puede”, señaló en una publicación X el 11 de agosto, y agregó que la compañía planeaba “tratar a los usuarios adultos como adultos”.
Mientras tanto, el CEO de Microsoft AI, Mustafa Suleyman, enfatizó en X que las empresas no deberían reclamar o promover la idea de que sus AIS eran “conscientes”. También estaba en contra de los propios AIS haciendo tales afirmaciones.
“Informes de delirios,” psicosis de ai “y el vínculo poco saludable siguen aumentando. Y por difícil que sea escuchar, esto no es algo limitado a las personas que ya están en riesgo de problemas de salud mental. Descartarlos como casos marginales solo los ayudan a continuar […]”, Dijo en agosto.
¿Qué medidas ha tomado OpenAi para salvaguardar a los niños?
El 26 de agosto, Openai compartió una publicación titulada, “Ayudar a las personas cuando más lo necesitan”, donde la compañía describió los pasos que sus chatbots de IA toman para responder de manera segura a los usuarios que están en grave angustia. Openai dijo que funcionó con más de 90 médicos en más de 30 países para garantizar la alineación con las mejores prácticas.
Aunque la compañía no mencionó el suicidio de Adam Raine, OpenAi dijo que desde 2023, sus modelos estaban capacitados para no proporcionar instrucciones para actividades autolesionadas y que estos modelos “cambiarían a un lenguaje empático y empático” para ayudar a los usuarios a sentirse vistos y encontrar ayuda. Sin embargo, existen deficiencias serias, como admitió la compañía misma.
Uno de esos factores es que ChatGPT ofrece soporte de prevención de suicidios como parte de intercambios cortos, pero esta barandilla puede romper después de sesiones más largas. “Por ejemplo, ChatGPT puede señalar correctamente una línea directa de suicidio cuando alguien menciona la intención, pero después de muchos mensajes durante un largo período de tiempo, eventualmente podría ofrecer una respuesta que va en contra de nuestras salvaguardas. Este es exactamente el tipo de desglose que estamos trabajando para prevenir”, señaló la compañía.
El 2 de septiembre, Openai anunció nuevas medidas de seguridad ChatGPT para adolescentes. Los padres pronto podrán vincular su cuenta con la cuenta de su adolescente a través de una invitación por correo electrónico, controlar cómo ChatGPT responde a su adolescente, administrar qué características deshabilitar y recibir notificaciones cuando el sistema detecta que su hijo “está en un momento de angustia aguda”. Una nueva característica incluye recordatorios en la aplicación durante las largas sesiones para alentar al usuario a tomar un descanso.
Sin embargo, el equipo legal que presentó su demanda en nombre de Raine criticó estas medidas y pidió una acción más fuerte del CEO de OpenAI, Sam Altman. “Porque el caso de Adam no se trata de chatgpt no ser” útil ” –Se trata de un producto que entrenó activamente a un adolescente para suicidarse ”, señaló Edelson en una declaración oficial.
“Sam debe decir inequívocamente que cree que ChatGPT es seguro o lo saca inmediatamente del mercado”.
