California se convierte en el primer estado en regular los chatbots complementarios de IA

Gobernador de California, Gavin Newsom firmado un proyecto de ley histórico el lunes que regula los chatbots complementarios de IAlo que lo convierte en el primer estado del país en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para sus compañeros de IA.

La ley, SB 243, está diseñada para proteger a los niños y a los usuarios vulnerables de algunos de los daños asociados con el uso de chatbots acompañantes de IA. Responsabiliza legalmente a las empresas, desde los grandes laboratorios como Meta y OpenAI hasta empresas emergentes más enfocadas como Character AI y Replika, si sus chatbots no cumplen con los estándares de la ley.

La SB 243 fue presentada en enero por los senadores estatales Steve Padilla y Josh Becker, y cobró impulso después de la muerte del adolescente Adam Rainequien se suicidó después de conversaciones con ChatGPT de OpenAI que involucraron discutir y planificar su muerte y autolesión. La legislación también responde a filtraciones documentos internos que supuestamente mostraba que a los chatbots de Meta se les permitía participar en charlas “románticas” y “sensuales” con niños. Más recientemente, una familia de Colorado ha presentado una demanda contra la startup de juegos de rol Character AI después de que su hija de 13 años se quitara la vida tras una serie de conversaciones problemáticas y sexualizadas con los chatbots de la empresa.

“Las tecnologías emergentes como los chatbots y las redes sociales pueden inspirar, educar y conectar, pero sin barreras de seguridad reales, la tecnología también puede explotar, engañar y poner en peligro a nuestros niños”, dijo Newsom en un comunicado. “Hemos visto algunos ejemplos realmente horribles y trágicos de jóvenes perjudicados por la tecnología no regulada, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin los límites y la responsabilidad necesarios. Podemos seguir liderando la IA y la tecnología, pero debemos hacerlo de manera responsable, protegiendo a nuestros niños en cada paso del camino. La seguridad de nuestros niños no está a la venta”.

La SB 243 entrará en vigor el 1 de enero de 2026 y exige que las empresas implementen ciertas funciones como verificación de edad, advertencias sobre las redes sociales y chatbots complementarios, y sanciones más severas (hasta 250.000 dólares por acción) para quienes se beneficien de deepfakes ilegales. Las empresas también deben establecer protocolos para abordar el suicidio y las autolesiones, y compartir esos protocolos, junto con estadísticas sobre la frecuencia con la que proporcionaron a los usuarios notificaciones de prevención de centros de crisis, con el Departamento de Salud Pública.

Según el texto del proyecto de ley, las plataformas también deben dejar claro que cualquier interacción se genera artificialmente y los chatbots no deben representarse a sí mismos como profesionales de la salud. Las empresas deben ofrecer recordatorios de descanso a los menores y evitar que vean imágenes sexualmente explícitas generadas por el chatbot.

Algunas empresas ya han comenzado a implementar algunas salvaguardas dirigidas a los niños. Por ejemplo, OpenAI recientemente comenzó a implementarse controles parentalesprotecciones de contenido y un sistema de detección de autolesiones para niños que usan ChatGPT. Character AI ha dicho que su chatbot incluye un descargo de responsabilidad de que todos los chats son generados por IA y ficticios.

La firma de esta ley por parte de Newsom se produce después de que el gobernador también aprobó la SB 53, otro proyecto de ley pionero en el país que establece nuevos requisitos de transparencia para las grandes empresas de inteligencia artificial. El proyecto de ley exige que los grandes laboratorios de inteligencia artificial, como OpenAI, Anthropic, Meta y Google DeepMind, sean transparentes en cuanto a los protocolos de seguridad. También garantiza la protección de los denunciantes de irregularidades para los empleados de esas empresas.

Otros estados, como Illinois, Nevada y Utah, han aprobado leyes para restringir o prohibir por completo el uso de chatbots de IA como sustituto de la atención de salud mental autorizada.

TechCrunch se ha puesto en contacto con Character AI, Meta, OpenAI y Replika para hacer comentarios.