Una demanda de Nueva Jersey muestra lo difícil que es combatir la pornografía deepfake

Durante más de dos años, una aplicación llamada ClothOff ha estado aterrorizando a mujeres jóvenes en línea, y ha sido terriblemente difícil detenerlo. La aplicación fue eliminada de las dos principales tiendas de aplicaciones y prohibida en la mayoría de las plataformas sociales, pero todavía está disponible en la web y a través de un bot de Telegram. En octubre, una clínica de la Facultad de Derecho de Yale presentó una demanda que eliminaría la aplicación por completo, obligando a los propietarios a eliminar todas las imágenes y dejar de operar por completo. Pero simplemente encontrar a los acusados ​​ha sido un desafío.

“Está incorporada en las Islas Vírgenes Británicas”, explica el profesor John Langford, codirector del proceso, “pero creemos que está dirigida por un hermano y una hermana y por Bielorrusia. Incluso puede ser parte de una red más grande en todo el mundo”.

Es una lección amarga después La reciente avalancha de pornografía no consentida. generado por xAI de Elon Musk, que incluyó muchas víctimas menores. El material de abuso sexual infantil es el contenido legalmente más tóxico de Internet: es ilegal producirlo, transmitirlo o almacenarlo, y se escanea periódicamente en todos los principales servicios en la nube. Pero a pesar de las intensas prohibiciones legales, todavía hay pocas maneras de lidiar con generadores de imágenes como ClothOff, como lo demuestra el caso Langford. Los usuarios individuales pueden ser demandados, pero plataformas como ClothOff y Grok son mucho más difíciles de controlar, lo que deja pocas opciones para las víctimas que esperan encontrar justicia en los tribunales.

La queja de la clínica, que es disponible en líneapinta un panorama alarmante. La demandante es una estudiante anónima de secundaria en Nueva Jersey cuyos compañeros de clase usaron ClothOff para alterar sus fotos de Instagram. Tenía 14 años cuando se tomaron las fotos originales de Instagram, lo que significa que las versiones modificadas por IA están clasificadas legalmente como imágenes de abuso infantil. Pero aunque las imágenes modificadas son claramente ilegales, las autoridades locales se han negado a procesar el caso, citando la dificultad de obtener pruebas de los dispositivos de los sospechosos.

“Ni la escuela ni las autoridades policiales establecieron jamás el alcance de la distribución de CSAM a Jane Doe y otras niñas”, dice la denuncia.

Aún así, el proceso legal avanzó lentamente. La denuncia se presentó en octubre y, en los meses posteriores, Langford y sus colegas han estado en el proceso de notificar a los demandados, una tarea difícil dada la naturaleza global de la empresa. Una vez visto, la clínica puede presionar para que comparezca ante el tribunal y, eventualmente, un juicio, pero mientras tanto, el sistema legal ha brindado poco consuelo a las víctimas de ClothOff.

El caso Grok puede parecer un problema más sencillo de resolver. La xAI de Elon Musk no se esconde y al final hay mucho dinero para los abogados que puedan ganar un caso. Pero Grok es una herramienta de uso general, lo que hace mucho más difícil responsabilizarlo ante los tribunales.

“ClothOff fue diseñado y comercializado específicamente como un generador de imágenes y videos pornográficos deepfake”, me dijo Langford. “Cuando procesas un sistema general al que los usuarios pueden recurrir para todo tipo de cosas, se vuelve mucho más complicado”.

Varias leyes estadounidenses ya han prohibido la pornografía deepfake, en particular la ley de derribarlo. Pero si bien usuarios específicos claramente están infringiendo estas leyes, es mucho más difícil responsabilizar a toda la plataforma. Las leyes existentes exigen pruebas claras de la intención de dañar, lo que significaría proporcionar pruebas de que xAI sabía que su herramienta se utilizaría para producir pornografía no consensuada. Sin esta evidencia, los derechos básicos de la Primera Enmienda de xAI proporcionarían una protección legal significativa.

“Según la Primera Enmienda, queda bastante claro que el material de abuso sexual infantil no es un discurso protegido”, dice Langford. “Entonces, cuando diseñas un sistema para crear este tipo de contenido, claramente estás operando fuera de lo que está protegido por la Primera Enmienda. Pero cuando eres un sistema general en el que los usuarios pueden consultar sobre todo tipo de cosas, no está tan claro”.

La forma más sencilla de superar estos problemas sería demostrar que xAI ignoró deliberadamente el problema. Es una posibilidad real, dada informes recientes que Musk ordenó a los empleados que relajaran las salvaguardias de Grok. Pero aun así, sería un caso mucho más arriesgado.

“La gente razonable podría decir que sabemos que esto es un problema desde hace años”, dice Langford. “¿Cómo es posible no tener controles más estrictos para garantizar que esto no suceda? Eso es una especie de imprudencia o conocimiento, pero es sólo un caso más complicado”.

Estas cuestiones de la Primera Enmienda son la razón por la que la mayor resistencia de xAI proviene de sistemas judiciales sin protecciones legales sólidas para la libertad de expresión. Indonesia y Malasia tomó medidas para bloquear el acceso al chatbot de Grok, mientras que los reguladores en el Reino Unido abrió una investigación esto podría conducir a una prohibición similar. Otros pasos preliminares fueron adoptadas por la Comisión Europea, Francia, Irlanda, India y Brasil. En cambio, ninguna agencia reguladora estadounidense ha emitido una respuesta oficial.

Es imposible decir cómo se resolverán las investigaciones, pero al menos, la avalancha de imágenes plantea muchas preguntas para que las investiguen los reguladores, y las respuestas podrían ser condenatorias.

“Si publicas, distribuyes y difundes material de abuso sexual infantil, estás violando prohibiciones penales y puedes ser considerado responsable”, dice Langford. “La pregunta difícil es: ¿Qué sabía X? ¿Qué hizo o no hizo X? ¿Qué están haciendo ahora en respuesta a esto?”