Después de una secuencia de incidentes perturbadores de salud mental Con la participación de chatbots de IA, un grupo de fiscales generales estatales envió una carta a las principales empresas de la industria de la IA, con una advertencia para corregir los “resultados delirantes” o correr el riesgo de violar la ley estatal.
EL cartafirmado por docenas de AG de estados y territorios de EE. UU. con la Asociación Nacional de Fiscales Generales, pide a las empresas, incluidas Microsoft, OpenAI, Google y otras 10 empresas importantes de IA, que implementen una variedad de nuevas salvaguardas internas para proteger a sus usuarios. Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI también se incluyeron en la carta.
La carta viene como Se está gestando una pelea por las regulaciones de IA. entre el gobierno estatal y federal.
Estas salvaguardas incluyen auditorías transparentes de terceros de los principales modelos de lenguaje que buscan signos de ideas delirantes o aduladoras, así como nuevos procedimientos de notificación de incidentes diseñados para notificar a los usuarios cuando los chatbots producen resultados psicológicamente dañinos. A estos terceros, que pueden incluir grupos académicos y de la sociedad civil, se les debe permitir “evaluar el prelanzamiento de sistemas sin represalias y publicar sus hallazgos sin la aprobación previa de la empresa”, afirma la carta.
“La GenAI tiene el potencial de cambiar la forma en que funciona el mundo de manera positiva. Pero también ha causado – y tiene el potencial de causar – daños graves, especialmente a las poblaciones vulnerables”, afirma la carta, señalando una serie de incidentes muy publicitados durante el año pasado, entre ellos suicidios y asesinato – donde la violencia se ha relacionado con el uso excesivo de IA, afirma la carta. “En muchos de estos incidentes, los productos GenAI generaron resultados aduladores y delirantes que alentaron los delirios de los usuarios o les aseguraron que no se estaban engañando”.
Los AG también sugieren que las empresas traten los incidentes de salud mental de la misma manera que las empresas de tecnología manejan los incidentes de ciberseguridad: con políticas y procedimientos de notificación de incidentes claros y transparentes.
Las empresas deben desarrollar y publicar “cronogramas de detección y respuesta para resultados engañosos y complacientes”, afirma la carta. De manera similar a cómo se manejan actualmente las filtraciones de datos, las empresas también deberían “notificar de manera inmediata, clara y directa a los usuarios si están expuestos a resultados aduladores o delirantes potencialmente dañinos”, dice la carta.
Evento tecnológico
san francisco
|
13-15 de octubre de 2026
Otra petición es que las empresas desarrollen “pruebas de seguridad razonables y apropiadas” en los modelos GenAI para “garantizar que los modelos no produzcan resultados aduladores y delirantes potencialmente dañinos”. Estas pruebas deben realizarse antes de que los modelos sean ofrecidos al público, añade.
TechCrunch no pudo comunicarse con Google, Microsoft u OpenAI para hacer comentarios antes de la publicación. El artículo se actualizará si las empresas responden.
Las empresas tecnológicas que desarrollan IA han recibido una recepción mucho más cálida a nivel federal.
La administración Trump ha hecho saber que es descaradamente pro-IAy el año pasado, múltiples intentos se vieron obligados a aprobar una moratoria nacional sobre las regulaciones estatales de IA. Hasta ahora, estos intentos han fracasado –gracias, en parte, a presión de las autoridades estatales.
No dejarse disuadir, Trump anunció El lunes, planea aprobar una orden ejecutiva la próxima semana que limitará la capacidad de los estados para regular la IA. El presidente dijo en un publicar en Truth Social, esperaba que su EO evitara que la IA fuera “DESTRUIDA EN SU INFANCIA”.
