A principios de esta semana, la oficina del fiscal general de California anunció que estaba investigando xAI por informes de que el chatbot de la startup, Grok, estaba siendo usado crear imágenes sexuales no consensuadas de mujeres y menores. El viernes, el gobierno envió una carta de cese y desistimiento a la empresa, exigiéndole que tomara medidas inmediatas para detener la producción de imágenes íntimas no consentidas y CSAM (material de abuso sexual infantil).
“Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la compañía cese inmediatamente la creación y distribución de imágenes profundas, no consensuales e íntimas y material de abuso sexual infantil”, dijo el fiscal general de California, Rob Bonta, en un comunicado. presione soltar. “La creación de este material es ilegal. Espero que xAI cumpla de inmediato. California tiene tolerancia cero con [CSAM].”
La oficina del fiscal general alegó además que xAI parecía estar “facilitando la producción a gran escala” de desnudos no consensuales, que se “utilizan para acosar a mujeres y niñas en Internet”. La agencia dijo que espera que xAI demuestre que está tomando medidas para resolver estos problemas en los próximos cinco días.
En el centro de la reacción está la función del modo “picante” de Grok, que xAI creó para generar contenido explícito. El problema se ha extendido más allá de California; Japón, Canadá y Gran Bretaña han abierto investigaciones sobre Grok, y Malasia e Indonesia han abierto temporalmente bloqueó la plataforma completamente. Aunque xAI impone algunas restricciones a sus capacidades de edición de imágenes, miércoles por la tardeLa oficina del fiscal general de California ha seguido adelante con su carta de cese y desistimiento.
La cuenta de seguridad de X ya ha sido reportado este tipo de actividad de usuario, diciendo: “Cualquier persona que utilice o anime a Grok a crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal”. TechCrunch contactó a xAI para hacer comentarios y recibió un correo electrónico automatizado que decía “Legacy Media Lies”. TC también contactó a la oficina del fiscal general de California para obtener más contexto.
La llegada de herramientas gratuitas de inteligencia artificial generativa ha llevado a una situación inquietante. Ola de material sexual no consensuado.. Muchas plataformas han luchado con este problema, no sólo X. La sórdida actividad ha atraído la atención no sólo de los líderes estatales, sino también del Congreso. De hecho, el jueves, los legisladores envió una carta a ejecutivos de varias empresas, incluidas X, Reddit, Snap, TikTok, Alphabet y Meta, preguntándoles cómo planeaban frenar la proliferación de deepfakes sexualizados.
