Una seguridad OpenAI líder de investigación que ayudó a dar forma ChatGPT respuestas a los usuarios que experimentan crisis de salud mental anunció su salida de la compañía internamente el mes pasado, según se enteró WIRED. Se espera que Andrea Vallone, jefe de un equipo de investigación de seguridad conocido como Model Policy, deje OpenAI a finales de año.
La portavoz de OpenAI, Kayla Wood, confirmó la salida de Vallone. Wood dijo que OpenAI está buscando activamente un reemplazo y que, mientras tanto, el equipo de Vallone reportará directamente a Johannes Heidecke, el jefe de sistemas de seguridad de la compañía.
La salida de Vallone se produce cuando OpenAI enfrenta un escrutinio cada vez mayor sobre cómo responde su producto estrella a usuarios en peligro. En los últimos meses, se han presentado varias demandas contra OpenAI, alegando que los usuarios han creado archivos adjuntos dañinos a ChatGPT. Algunas de las demandas afirman que ChatGPT contribuyó a problemas de salud mental o fomentó ideas suicidas.
En medio de esta presión, OpenAI ha estado trabajando para comprender cómo ChatGPT debería manejar a los usuarios con dificultades y mejorar las respuestas del chatbot. Model Policy es uno de los equipos que lidera este trabajo, liderando un informe de octubre detallando el progreso de la compañía y las consultas con más de 170 expertos en salud mental.
En el informe, OpenAI dijo que cientos de miles de usuarios de ChatGPT pueden mostrar signos de experimentar una crisis maníaca o psicótica cada semana, y que más de un millón de personas “mantienen conversaciones que incluyen indicadores explícitos de posible planificación o intención suicida”. A través de una actualización de GPT-5, OpenAI dijo en el informe que pudo reducir las respuestas no deseadas en estas conversaciones entre un 65 y un 80 por ciento.
“El año pasado, dirigí una investigación de OpenAI sobre una pregunta que casi no tiene precedentes establecidos: ¿cómo deberían responder los modelos cuando se enfrentan a signos de exceso de confianza emocional o indicios tempranos de problemas de salud mental?” escribió Vallone en un publicar Es LinkedIn.
Vallone no respondió a la solicitud de comentarios de WIRED.
Hacer que el chat con ChatGPT sea agradable, pero no demasiado halagador, es una tensión central en OpenAI. La compañía está tratando agresivamente de expandir la base de usuarios de ChatGPT, que ahora incluye más de 800 millones de personas por semana, para competir con los chatbots de IA de Google, Anthropic y Meta.
Después de que OpenAI lanzara GPT-5 en agosto, los usuarios retrocedieron, argumentando que el nuevo modelo era sorprendentemente frio. En la última actualización de ChatGPT, la compañía dijo que ha reducido significativamente la adulación mientras mantiene la “calidez” del chatbot.
La salida de Vallone se produce tras una Agosto reorganización de otro grupo. centrado en las respuestas de ChatGPT a los usuarios con dificultades y modelando el comportamiento. Su exlíder, Joanne Jang, dejó ese puesto para iniciar un nuevo equipo que explora nuevos métodos de interacción entre humanos y IA. El resto del equipo de comportamiento modelo fue transferido al líder posterior a la capacitación, Max Schwarzer.
