Cientos de cuentas en tiktok están obteniendo miles de millones de visitas al promocionar contenido generado por IA, incluido material antiinmigrante y sexualizado, según un informe.
Los investigadores dijeron que descubrieron 354 cuentas centradas en IA que publicaban 43.000 publicaciones realizadas con herramientas de IA generativa y acumulaban 4.500 millones de visitas durante un período de un mes.
Según AI Forensics, una organización sin fines de lucro con sede en París, algunas de estas cuentas intentan burlar el algoritmo de TikTok (que decide qué contenido ven los usuarios) publicando grandes cantidades de contenido con la esperanza de que se vuelva viral.
Uno publicaba hasta 70 veces al día o a la misma hora del día, remitía cuentas automáticamente y la mayoría de las cuentas se lanzaban a principios de año.
El mes pasado, TikTok reveló que había al menos 1.300 millones de publicaciones generadas por IA en la plataforma. Cada día se suben a la plataforma más de 100 millones de piezas de contenido, lo que indica que el material etiquetado con IA es una pequeña parte del catálogo de TikTok. TikTok también ofrece a los usuarios la opción de reducir el cantidad de contenido de IA que ven.
De las cuentas que publicaron contenido con mayor frecuencia, la mitad se centró en contenido relacionado con el cuerpo femenino. “Estas mujeres de IA siempre son estereotípicamente atractivas, con atuendos o escotes sexualizados”, dice el informe.
AI Forensics descubrió que las cuentas no etiquetaban la mitad del contenido que publicaban y menos del 2% llevaban la etiqueta TikTok para contenido de IA, lo que la organización sin fines de lucro advirtió que podría aumentar el potencial engañoso del material. Los investigadores agregaron que las cuentas a veces evaden la moderación de TikTok durante meses a pesar de publicar contenido prohibido por sus términos de servicio.
Docenas de cuentas reveladas en el estudio fueron eliminadas posteriormente, dijeron los investigadores, indicando que algunas fueron eliminadas por los moderadores.
Parte del contenido tomó la forma de segmentos de noticias falsas transmitidos con narrativas antiinmigrantes y material que sexualiza los cuerpos femeninos, incluidas niñas que parecen menores de edad. La categoría de cuerpo femenino representó la mitad de las 10 cuentas más activas, dijo AI Forensics, mientras que algunas de las noticias falsas presentaban marcas de transmisión conocidas como Sky News y ABC.
Algunas de las publicaciones fueron eliminadas por TikTok después de que The Guardian las reenviara a la plataforma.
TikTok dijo que las afirmaciones del informe eran “infundadas” y que los investigadores lo identificaron como un problema que afectaba a múltiples plataformas. En agosto, The Guardian reveló que casi uno de cada 10 de los canales de YouTube de más rápido crecimiento en el mundo eran mostrando solo contenido generado por IA.
“En TikTok, eliminamos AIGC dañinos [artificial intelligence-generated content]bloquear la creación de cientos de millones de cuentas de bot, invertir en tecnologías de etiquetado de IA líderes en la industria y brindar a las personas herramientas y educación para controlar cómo experimentan este contenido en nuestra plataforma”, dijo un portavoz de TikTok.
Las cuentas más populares destacadas por AI Forensics en términos de vistas publicaron “slop”, el término para referirse al contenido creado por IA que es absurdo, extraño y diseñado para saturar las redes sociales de las personas, como animales compitiendo en una competición de buceo olímpico o bebes hablando. Los investigadores reconocieron que parte del contenido era “divertido” y “bonito”.
después de la promoción del boletín
Las directrices de TikTok prohíben el uso de IA para hacerse pasar por fuentes oficiales falsas, imágenes de personas menores de 18 años o imágenes de adultos que no sean figuras públicas.
“Esta investigación [automated accounts] “Muestra cómo el contenido de IA ahora está integrado en plataformas y en un ecosistema de viralidad más amplio”, dijeron los investigadores.
“La línea borrosa entre el contenido auténtico humano y el contenido sintético generado por IA en la plataforma está indicando un nuevo giro hacia más contenido generado por IA en los feeds de los usuarios”.
Los investigadores analizaron datos desde mediados de agosto hasta mediados de septiembre. Parte del contenido intenta ganar dinero con los usuarios, incluida la promoción de suplementos para la salud a través de personas influyentes falsas, la promoción de herramientas de inteligencia artificial que ayudan a que el contenido sea viral y la búsqueda de patrocinios para publicaciones.
AI Forensics, que también destacó la prevalencia del contenido de IA en Instagram, dijo que acogía con agrado la decisión de TikTok de permitir a los usuarios limitar la cantidad de contenido de IA que ven, pero que el etiquetado necesitaba mejorar.
“Dado el número estructural y no despreciable de fallas en la identificación de dicho contenido, seguimos siendo escépticos sobre el éxito de esta característica”, dijeron.
Los investigadores agregaron que TikTok debería considerar la creación de una función exclusiva de IA en la aplicación para separar el contenido creado por IA de las publicaciones creadas por humanos. “Las plataformas deben ir más allá de las etiquetas débiles u opcionales de ‘contenido de IA’ y considerar segregar el contenido generativo del material creado por humanos, o encontrar un sistema justo que imponga un etiquetado sistemático y visible del contenido de IA”, afirmaron.
