GRAMOA aatha Sarvaiya le gustaría publicar en las redes sociales y compartir su trabajo en línea. Graduada en derecho india, de poco más de 20 años, se encuentra en las primeras etapas de su carrera y está tratando de construir un perfil público. El problema es que, con el aumento de los deepfakes impulsados por IA, ya no hay ninguna garantía de que las imágenes que publica no se distorsionen hasta convertirlas en algo grotesco o violatorio.
“Inmediatamente surge el pensamiento: ‘Está bien, tal vez no sea seguro. Tal vez la gente pueda tomarnos fotografías y simplemente hacer cosas con ellas'”, dice Sarvaiya, que vive en Mumbai.
“El efecto paralizador es cierto”, dice Rohini Lakshané, investigadora sobre derechos de género y política digital con sede en Mysuru, quien también evita publicar fotos suyas en línea. “El hecho de que se pueda hacer un mal uso de ellos con tanta facilidad me hace ser más cauteloso”.
En los últimos años, India se ha convertido en uno de los campos de prueba más importantes para herramientas de inteligencia artificial. es el el segundo mercado más grande del mundo para OpenAIcon la tecnología ampliamente adoptado en todas las profesiones.
pero un informe publicado el lunes que se basa en datos recopilados por la Fundación Rati, una organización benéfica que administra una línea de ayuda en todo el país para víctimas de abuso en línea, muestra que la creciente adopción de la IA ha creado una nueva y poderosa forma de acosar a las mujeres.
“En los últimos tres años se ha hecho evidente que una gran mayoría del contenido generado por IA se utiliza para dirigirse a mujeres y minorías de género”, dice el informe, escrito por la Fundación Rati y Chismesuna empresa que trabaja para reducir la información errónea en las redes sociales de la India.
En particular, el informe encontró un aumento en el uso de herramientas de inteligencia artificial para crear imágenes o videos de mujeres manipulados digitalmente, ya sean desnudos o imágenes que podrían ser culturalmente apropiadas en los EE. UU., pero que son estigmatizantes en muchas comunidades indias, como las muestras públicas de afecto.
Alrededor del 10% de los cientos de casos reportados a la línea de ayuda ahora involucran estas imágenes, según el informe. “La IA facilita mucho la creación de contenido de apariencia realista”, dice.
Ha habido casos destacados de mujeres indias en la esfera pública cuyas imágenes han sido manipuladas por herramientas de inteligencia artificial: por ejemplo, el La cantante de Bollywood Asha Bhoslecuya imagen y voz fueron clonadas mediante inteligencia artificial y circularon en YouTube. Rana Ayyub, periodista conocida por investigar la corrupción política y policial, se convirtió en blanco de una doxing campaña el año pasado que llevó a Imágenes sexualizadas deepfake de su aparición en las redes sociales.
Esto ha llevado a una conversación en toda la sociedad, en la que algunas figuras, como Bhosle, han Luchó con éxito por derechos legales sobre su voz o imagen.. Menos discutido, sin embargo, es el efecto que estos casos tienen en las mujeres comunes y corrientes que, como Sarvaiya, se sienten cada vez más inseguras acerca de conectarse a Internet.
“La consecuencia de enfrentar acoso en línea es en realidad silenciarse o volverse menos activo en línea”, dice Tarunima Prabhakar, cofundador de Tattle. Su organización utilizó grupos focales durante dos años en toda la India para comprender cómo el abuso digital afectaba a la sociedad.
“La emoción que hemos identificado es la fatiga”, dice. “Y la consecuencia de esa fatiga es también que uno se aleja por completo de estos espacios en línea”.
Durante los últimos años, Sarvaiya y sus amigos han seguido casos de alto perfil de abuso en línea de deepfake, como el de Ayyub o el del bollywood La actriz Rashmika Mandanna. “Aquí las mujeres dan un poco de miedo”, afirma.
Ahora, Sarvaiya duda en publicar cualquier cosa en las redes sociales y ha hecho que su Instagram sea privado. Incluso esto, le preocupa, no será suficiente para protegerla: a veces las mujeres son fotografiadas en espacios públicos como el metro, y esos Las imágenes pueden aparecer más tarde en línea..
“No es tan común como crees, pero no conoces tu suerte, ¿verdad?” ella dice. “Los amigos de amigos están siendo chantajeados, literalmente, fuera de Internet”.
Lakshané dice que ahora a menudo pide no ser fotografiada en eventos, incluso en aquellos en los que es oradora. Pero a pesar de tomar precauciones, está preparada para la posibilidad de que algún día aparezca un vídeo o una imagen falsa de ella. En las aplicaciones, ha hecho de su foto de perfil una ilustración de ella misma en lugar de una foto.
“Existe el temor de que se haga un mal uso de las imágenes, especialmente entre las mujeres que tienen presencia pública, que tienen voz en línea y que adoptan posturas políticas”, afirma.
después de la promoción del boletín
El informe de Rati describe cómo las herramientas de IA, como “nudificación” o aplicaciones nudificadas – que pueden quitar la ropa de las imágenes – han hecho que los casos de abuso que antes se consideraban extremos sean mucho más comunes. En un caso que describió, una mujer se acercó a la línea de ayuda después de que una fotografía que presentó con una solicitud de préstamo fuera utilizada para extorsionarla.
“Cuando se negó a continuar con los pagos, la fotografía que subió fue alterada digitalmente usando una aplicación nudify y colocada en una imagen pornográfica”, dice el informe.
Esa fotografía, con su número de teléfono adjunto, circuló en WhatsApp, lo que provocó una “aluvión de llamadas y mensajes sexualmente explícitos de personas desconocidas”. La mujer dijo a la línea de ayuda de Rati que se sentía “avergonzada y socialmente marcada, como si hubiera estado ‘involucrada en algo sucio’”.
En India, como en la mayor parte del mundo, los deepfakes operan en una zona legal gris. ninguna ley específica los reconoce como formas distintas de daño, aunque el informe de Rati describe varias leyes indias que podrían aplicarse al acoso y la intimidación en línea, según las cuales las mujeres pueden denunciar falsificaciones de IA.
“Pero ese proceso es muy largo”, dice Sarvaiya, quien ha argumentado que el sistema legal de la India sigue estando mal equipado para lidiar con los deepfakes de IA. “Y hay mucha burocracia para llegar a ese punto y obtener justicia por lo que se ha hecho”.
Parte de la responsabilidad recae en las plataformas en las que se comparten estas imágenes (a menudo YouTube, Meta, X, Instagram y WhatsApp). Los organismos encargados de hacer cumplir la ley de la India describen el proceso para lograr que estas empresas eliminen contenido abusivo como “opaco, que requiere muchos recursos, inconsistente y a menudo ineficaz”, según un informe publicado el martes por Igualdad Ahoraque lucha por los derechos de las mujeres.
Mientras Manzana y Meta ha tomado medidas recientemente Para limitar la propagación de aplicaciones de nudificación, el informe de Rati señala varios casos en los que estas plataformas respondieron de manera inadecuada al abuso en línea.
WhatsApp finalmente tomó medidas en el caso de extorsión, pero su respuesta fue “insuficiente”, informó Rati, ya que los desnudos ya estaban en Internet. En otro caso, cuando un indio Instagram El creador fue acosado por un troll que publicaba vídeos de ellos desnudos, Instagram sólo respondió después de un “esfuerzo sostenido”, con una respuesta que fue “retrasada e inadecuada”.
A menudo se ignoraba a las víctimas cuando denunciaban acoso en estas plataformas, según el informe, lo que las llevó a acudir a la línea de ayuda. Además, incluso si una plataforma elimina una cuenta que difunde contenido abusivo, ese contenido a menudo reaparece en otros lugares, en lo que Rati llama “reincidencia de contenido”.
“Una de las características permanentes del abuso generado por la IA es su tendencia a multiplicarse. Se crea fácilmente, se comparte ampliamente y tiende a resurgir repetidamente”, dice Rati. Abordarlo “requerirá mucha mayor transparencia y acceso a los datos desde las propias plataformas”.
