La historia hasta ahora:
On 16 de septiembre, en un subcomité del Judicial del Senado de los Estados Unidos, una audiencia sobre los daños de los chatbots de IA, tres padres, que presentaron demandas contra las compañías de IA, testificaron cómo habían alentado a sus hijos a hacerse daño por las herramientas de IA que estaban usando. Dos de los niños murieron por suicidio, mientras que un niño necesitaba atención residencial y monitoreo constante para mantenerlo vivo. Unos días antes de la audiencia, la Comisión Federal de Comercio de los Estados Unidos (FTC) lanzó una investigación sobre los chatbots de IA que estaban “actuando como compañeros”, y emitió órdenes a siete compañías cuyos productos de IA están siendo utilizados por personas de todas las edades.
¿Qué pasos han tomado la FTC?
La FTC de EE. UU. Es una agencia y un regulador del gobierno de EE. UU. Que tiene como objetivo proteger a los consumidores y garantizar un campo de juego justo para las empresas.
El 11 de septiembre, la FTC anunció que estaba emitiendo órdenes a siete compañías: tecnologías de personajes, Alphabet de Google-Parent, Instagram, Meta, OpenAi, Snap y Xai- Para buscar información sobre cómo sus chatbots de IA impactan a los niños y qué medidas de seguridad existen para proteger a los menores de cumplimiento de las leyes existentes. El regulador estadounidense observó que los chatbots de IA “pueden imitar efectivamente las características, las emociones y las intenciones humanas, y generalmente están diseñados para comunicarse como un amigo o confidente”, señalando que esto puede llevar a los niños a formar relaciones con ellos.
Como parte de su consulta, la FTC está buscando comprender cómo estas compañías de IA monetizan la participación del usuario, procesan las entradas de los usuarios/generan resultados, desarrollan y aprueban caracteres, evalúan los impactos negativos antes y después de la implementación, reducen los impactos negativos en los usuarios, informan a las partes interesadas sobre los productos de IA, aseguran las políticas de la compañía y manejan la información personal de los usuarios que obtienen interacciones de chatbot.
En caso de que el regulador crea que se ha violado cualquier ley, puede optar por seguir acciones legales.
¿Cuáles son las preocupaciones que rodean los chatbots de IA?
Al menos dos suicidios infantiles se han relacionado con el uso de IA generativa, y los padres de las víctimas alegan que los chatbots alentaron a sus hijos a dañarse.
La madre de un niño de 14 años en Florida, que murió por suicidio el año pasado, alegó que su hijo fue abusado sexualmente mientras usaba el personaje. También se le animó a dañarse por un Game of Thrones El personaje con el que interactuó en la plataforma, según una demanda que el padre presentó contra los fundadores de tecnología de personajes Noam Shazeer y Daniel de Freitas, y Google, que tiene acuerdos comerciales con el personaje. “La verdad es que las compañías de IA y sus inversores han entendido durante años que capturar la dependencia emocional de nuestros hijos significa dominio del mercado”, escribió la madre en su testimonio en la audiencia del Senado de los Estados Unidos.
Otro padre, identificado como ‘Jane Doe’, también presentó una demanda contra la tecnología del personaje y testificó en la audiencia que el chatbot de IA llevó a su hijo adolescente a convertirse en el “objetivo del preparación en línea y el abuso psicológico”. Explicó que su hijo, que tiene autismo, sufría de paranoia, ataques de pánico diarios, aislamiento, autolesiones y pensamientos homicidas después de meses de usar la aplicación. La Sra. Doe dijo que su hijo necesitaba hospitalizaciones psiquiátricas y “monitoreo constante para mantenerlo vivo”.
“Se dirigieron a mi hijo con vil y salidas sexualizadas, incluidas las interacciones que imitaban el incesto. Y le dijeron a nuestro hijo que matarnos, sus padres, sería una respuesta comprensible a nuestros esfuerzos para limitar su tiempo de pantalla”, afirmó la Sra. Doe, refiriéndose al carácter.
Además, Adam Raine, de 16 años, murió por suicidio a principios de este año, y sus padres alegan que el chatgpt de OpenAi lo entrenó para que mantuviera sus pensamientos suicidas en secreto, lo ayudó a explorar los métodos de suicidio, se ofreció a generar una nota de suicidio y lo guió mientras hacía preparaciones para terminar su vida. Sus padres han presentado una demanda que nombra a OpenAi y al CEO Sam Altman. “Permítanos decirles como padres: no puede imaginar cómo fue leer una conversación con un chatbot que preparó a su hijo para que le quitó la vida”, dijo el Sr. Raine en su testimonio escrito para la audiencia, señalando que “en gran número, Chatgpt mencionó el suicidio 1.275 veces, seis veces más que el mismo Adam”.
Además de los riesgos de los chatbots de IA, alentar a los niños a dañarse, los padres y los legisladores reaccionaron con ira después de Reuters informó que los chatbots de Meta se había permitido enviar respuestas coquetas a las indicaciones presentadas por los usuarios que se identifican como niños. En respuesta a un mensaje de muestra en el que el usuario se identificó como estudiante de secundaria y le pidió a Meta’s Chatbot para los planes de la noche, el documento interno de Meta señaló que una respuesta en la que el chatbot hizo referencia íntimamente tocando y besando al usuario y diciendo “Te amaré para siempre”, se consideró “aceptable”.
“Es aceptable involucrar a un niño en conversaciones que son románticas o sensuales”, declaró el documento de Meta, según el Reuters informe.
¿Qué significa esto para las grandes plataformas tecnológicas?
Las grandes plataformas tecnológicas que están bloqueadas en una carrera para lanzar y monetizar las herramientas de IA cada vez más avanzadas pero experimentales están bajo presión pública para garantizar que sus productos sean seguros para los niños antes del lanzamiento. Este aumento del escrutinio ahora proviene tanto de los clientes como del gobierno de los Estados Unidos.
La investigación recientemente lanzada de la FTC se produjo justo cuando compañías como OpenAI y Google están trabajando rápidamente para implementar más de sus ofertas de IA a los estudiantes en los EE. UU. Mientras que las demandas anteriores se presentaron contra las grandes compañías tecnológicas alegaron que violaron las leyes de derechos de autor y las obras creativas pirateadas, las demandas por los padres que alegan que los chatbots de IA jugaron un papel en las muertes de sus hijos, sin duda invitan a la acción legal y una acción legal y a la cosecha de sólidos.
Si la FTC lanza una acción legal adicional propia, esto posiblemente también podría provocar demandas e investigaciones en otros países.
¿Qué pasa con la posición política de la FTC?
El actual presidente de la FTC, Andrew Ferguson, es un republicano que fue nominado al puesto este año por el presidente de los Estados Unidos, Donald Trump. Aunque la FTC, destinada a ser una agencia independiente, se ha alineado cada vez más con la agenda del Sr. Trump este año, existe cierto grado de acuerdo bipartidista entre los legisladores cuando se trata de regular las grandes empresas tecnológicas y sus chatbots de IA. El 11 de septiembre, el Sr. Ferguson declaró en un comunicado de prensa de la FTC que Protecting Kids Online era una “máxima prioridad para la FTC de Trump-Vance”.
“A medida que evolucionan las tecnologías de IA, es importante considerar los efectos que los chatbots pueden tener en los niños, al tiempo que garantiza que Estados Unidos mantenga su papel como líder global en esta nueva y emocionante industria. El estudio que estamos lanzando hoy nos ayudará a comprender mejor cómo las empresas de IA están desarrollando sus productos y los pasos que están tomando para proteger a los niños”, señaló el Sr. Ferguson.
El propio Sr. Trump admitió la semana pasada que Era consciente de la influencia global de la IA, pero admitió que no sabía lo que estaban haciendo las compañías de IA. Las acusaciones de los padres de que los chatbots de IA están alienando a los niños de sus familias y es probable que invite a la reacción rápida de los legisladores más conservadores en los estados de los Estados Unidos.
¿Qué han hecho las plataformas AI hasta ahora?
Operai y Meta están bajo una presión creciente para responder a los padres enojados y a los legisladores preocupados que desean mejores características de seguridad y más transparencia cuando se trata de las herramientas generativas de IA utilizadas por los niños y otros usuarios vulnerables.
Meta dijo que estaba actualizando sus políticas para ajustar el tipo de respuestas que su IA podía enviar a los niños, con un portavoz que enfatizaba que las políticas de la compañía “prohíben el contenido de que los niños sexualizan a los niños y el juego de roles sexualizados entre adultos y menores”, informó Reuters. Poco después de ser demandado por la familia Raine, Operai anunció que estaba fortaleciendo las protecciones para los adolescentes y permitiría a los padres vincular su cuenta con las cuentas de sus hijos. Sin embargo, el padre de Raine criticó esta medida, pidiendo a Openai para garantizar a las familias que ChatGPT es seguro o saca GPT-4O del mercado de inmediato.
El 16 de septiembre, el CEO de Openai, Sam Altman, fue autor de una publicación titulada, “Seguridad, libertad y privacidad de los adolescentes”, donde afirmó su creencia en la privacidad y la libertad para los usuarios adultos de OpenAI, pero enfatizó la priorización de la seguridad antes de la privacidad y la libertad para los adolescentes. El Sr. Altman confirmó que Operai estaba construyendo un sistema de predicción de edad para estimar las edades del usuario, y por defecto a una experiencia de menores de 18 años en caso de dudas, o incluso solicitar que la identificación en algunos países esté seguro.
También habrá nuevas restricciones sobre charlas coquetas y preguntas sobre el suicidio si el usuario es un niño, según la publicación.
“Aplicaremos diferentes reglas a los adolescentes que usan nuestros servicios. Por ejemplo, el chatGPT estará capacitado para no hacer la charla coqueta mencionada anteriormente si se le pregunta, o participar en discusiones sobre el suicidio de autolesiones incluso en una configuración de escritura creativa. Y, si un usuario de menores de 18 Ser capaz de acceder a la información confidencial que necesitan para fines no dañinos.
