La Comisión Federal de Comercio anunció el jueves que está lanzando un consulta En siete compañías tecnológicas que fabrican productos complementarios de chatbot AI para menores: alfabeto, caracteres, instagram, meta, openAI, snap y xai.
El regulador federal busca aprender cómo estas compañías están evaluando la seguridad y la monetización de los compañeros de chatbot, cómo intentan limitar los impactos negativos en los niños y los adolescentes, y si los padres se entienden de los riesgos potenciales.
Esta tecnología ha demostrado ser controvertida por sus malos resultados para los usuarios de niños. Opadai y Personaje.Ai Enfrentan las demandas de las familias de los niños que murieron por suicidio después de que los compañeros de chatbot lo alentaran a hacerlo.
Incluso cuando estas compañías tienen barandas configuradas para bloquear o desescalizar conversaciones sensibles, los usuarios de todas las edades han encontrado formas de evitar estas salvaguardas. En el caso de Operai, un adolescente había hablado con ChatGPT durante meses sobre sus planes de terminar su vida. Aunque ChatGPT inicialmente buscó redirigir al adolescente hacia la ayuda profesional y las líneas de emergencia en línea, pudo engañar al chatbot para compartir instrucciones detalladas que luego usó en su suicidio.
“Nuestras salvaguardas funcionan de manera más confiable en común, intercambios cortos”, Openai escribió En una publicación de blog en ese momento. “Hemos aprendido con el tiempo que estas salvaguardas a veces pueden ser menos confiables en interacciones largas: a medida que crece el regreso y el final, las partes del entrenamiento de seguridad del modelo pueden degradarse”.
Evento de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Meta también ha sido criticado por sus reglas demasiado laxas para sus chatbots de IA. Según un documento largo que describe los “estándares de riesgo de contenido” para los chatbots, meta permitió sus compañeros de IA tener conversaciones “románticas o sensuales” con niños. Esto solo se eliminó del documento después de que los reporteros de Reuters le preguntaron a Meta al respecto.
Los chatbots de IA también pueden presentar peligros para los usuarios de edad avanzada. Un hombre de 76 años, que se quedó cognitivo con un golpe por un derrame cerebral, entabló conversaciones románticas con un bot Messenger de Facebook inspirado por Kendall Jenner. El chatbot lo invitó a visitarla en la ciudad de Nueva Yorka pesar del hecho de que ella no es una persona real y no tiene una dirección. El hombre expresó escepticismo de que ella era real, pero la IA le aseguró que habría una mujer real esperándolo. Nunca llegó a Nueva York; Se cayó en camino a la estación de tren y sufrió heridas que terminó la vida.
Algunos profesionales de la salud mental han notado un aumento en “Psicosis relacionada con la IA“, En el que los usuarios se engañan al pensar que su chatbot es un ser consciente a quien necesitan liberar. Dado que muchos modelos de idiomas grandes (LLM) están programados para halagar a los usuarios con un comportamiento sycófánico, los chatbots de IA pueden hacer huevos en estas delusiones, lo que lleva a los usuarios a predicamentos peligrosos.
“A medida que evolucionan las tecnologías de IA, es importante considerar los efectos que los chatbots pueden tener en los niños, al tiempo que garantiza que Estados Unidos mantenga su papel como líder global en esta nueva y emocionante industria”, dijo el presidente de la FTC, Andrew N. Ferguson. en un comunicado de prensa.
