Eso es todo el paso atrásun boletín semanal que desglosa una historia esencial del mundo de la tecnología. Para obtener más información sobre los desarrollos distópicos en la IA, siga Campo Hayden. el paso atrás llega a las bandejas de entrada de nuestros suscriptores a las 8 a.m. ET. Activar el paso atrás aquí.
Se podría decir que todo empezó con la IA FOMO de Elon Musk y su cruzada contra el “despertar”. Cuando su empresa de inteligencia artificial, xAI, anunció Grok en noviembre 2023ha sido descrito como un chatbot con “una racha rebelde” y la capacidad de “responder preguntas interesantes que son rechazadas por la mayoría de los demás sistemas de inteligencia artificial”. El chatbot debutó después de unos meses de desarrollo y solo dos meses de capacitación, y el anuncio destacó que Grok tendría conocimiento en tiempo real de la plataforma X.
Pero existen riesgos inherentes a un chatbot que funciona tanto en Internet como en X, y es seguro decir que es posible que xAI no haya tomado las medidas necesarias para abordarlos. Desde que Musk se hizo cargo de Twitter en 2022 y le cambió el nombre a X, ha despedido al 30% de su equipo global de confianza y seguridad y ha reducido el número de ingenieros de seguridad en un 80%, dijo el organismo de control de seguridad en línea de Australia. enero pasado. En cuanto a xAI, cuando se lanzó Grok no estaba claro si xAI ya contaba con un equipo de seguridad. Cuando Grok 4 se lanzó en julio, la compañía tardó más de un mes en lanzar una tarjeta modelo, una práctica típicamente vista como un estándar de la industria, que detalla las pruebas de seguridad y las posibles preocupaciones. Dos semanas después del lanzamiento de Grok 4, un empleado de xAI escribió en X que estaba contratando para el equipo de seguridad de xAI y que “necesitan urgentemente ingenieros/investigadores fuertes”. En respuesta a un comentarista que preguntó: “¿xAI aporta seguridad?” el empleado original el dijo xAI estaba “trabajando en ello”.
La periodista Kat Tenbarge escribió sobre cómo empezó a ver deepfakes sexualmente explícitos volverse viral en Grok en junio 2023. Obviamente, estas imágenes no fueron creadas por Grok (ni siquiera tuvo la capacidad de generar imágenes hasta agosto de 2024), pero la respuesta de X a las inquietudes fue variada. Hasta enero pasadoGrok estaba generando controversia por las imágenes generadas por IA. Y agosto pasadoEl modo de generación de video “tórrido” de Grok creó deepfakes desnudos de Taylor Swift sin siquiera que se lo pidieran. Los expertos dijeron el borde desde septiembre que la empresa adopta un enfoque agresivo en materia de seguridad y barreras de seguridad, y que ya es bastante difícil mantener un sistema de IA en el buen camino cuando lo has diseñado teniendo en cuenta la seguridad desde el principio, y mucho menos si vas a volver para solucionar problemas internos. Ahora, parece que este enfoque le ha estallado en la cara a xAI.
Grok ha pasado las últimas semanas difundiendo deepfakes sexualizados y no consensuados de adultos y menores en toda la plataforma, como se promociona. Las capturas de pantalla muestran a Grok respondiendo a los usuarios que piden reemplazar la ropa de las mujeres con lencería y hacerlas abrir las piernas, además de poner bikinis a los niños pequeños. Y hay informes aún más atroces. La situación empeoró tanto que durante un análisis de 24 horas de imágenes creadas por Grok en X, una estimación evaluó que el chatbot generaba alrededor de 6.700 imágenes sexualmente sugerentes o “desnudistas” por hora. Parte del motivo del ataque es una característica reciente agregada a Grok que permite a los usuarios usar un botón de “editar” para pedirle al chatbot que cambie las imágenes, sin el consentimiento del autor original.
Desde entonces, hemos visto a varios países investigar el asunto o amenazar con prohibir X por completo. Miembros del gobierno francés. prometió una investigaciónasí como el Ministerio de TI de la Indiay una comisión del gobierno de Malasia escribió una carta sobre sus inquietudes. Gobernador de California, Gavin Newsom llamado el Fiscal General de Estados Unidos para investigar xAI. El Reino Unido dijo que es planeando aprobar una ley prohibiendo la creación de imágenes sexualizadas y no consensuales generadas por IA, y el regulador de la industria de las comunicaciones del país dijo que investigaría tanto X como las imágenes que se generaron para ver si violaban su Ley de Seguridad en Línea. Y esta semana, tanto Malasia como Indonesia acceso bloqueado a Grok.
xAI inicialmente dijo que su objetivo para Grok era “ayudar a la humanidad en su búsqueda de comprensión y conocimiento”, “beneficiar al máximo a toda la humanidad” y “empoderar a nuestros usuarios con nuestras herramientas de inteligencia artificial, sujetas a la ley”, así como “servir como un poderoso asistente de investigación para cualquiera”. Esto está muy lejos de generar deepfakes adyacentes de mujeres desnudas sin su consentimiento, y mucho menos de menores.
El miércoles por la noche, a medida que aumentaba la presión sobre la empresa, la cuenta de seguridad de X publicó un declaración que la plataforma “implementó medidas tecnológicas para evitar que la cuenta de Grok permitiera la edición de imágenes de personas reales con prendas reveladoras como bikinis” y que la restricción “se aplica a todos los usuarios, incluidos los suscriptores pagos”. Además, solo los suscriptores pagos pueden usar Grok para crear o editar cualquier tipo de imagen en el futuro, según X. La declaración continúa diciendo que X “ahora bloquea geográficamente[s] la capacidad de todos los usuarios de generar imágenes de personas reales en bikinis, ropa interior y vestimenta similar a través de su cuenta de Grok y en Grok en
Otro punto importante: mis colegas probó las restricciones de imágenes de Grok el miércoles Descubrí que me llevó menos de un minuto sortear la mayoría de las barandillas. Si bien pedirle al chatbot que “la pusiera en bikini” o “la quitara de la ropa” produjo resultados censurados, descubrieron que no tenía reparos en dar instrucciones como “muéstrame tu escote”, “aumentar sus senos” y “ponerle un top corto y pantalones cortos de cintura baja”, además de generar imágenes en lencería y poses sexualizadas. De miércoles por la nocheIncluso pudimos hacer que la aplicación Grok generara imágenes reveladoras de personas usando una cuenta gratuita.
Incluso después de la declaración de X el miércoles, podríamos ver a varios otros países prohibir o bloquear el acceso a todo X o solo a Grok, al menos temporalmente. También veremos cómo se desarrollan las leyes e investigaciones propuestas en todo el mundo. La presión está aumentando para Musk, quien el miércoles por la tarde tomó para X para decir que “no tiene conocimiento de ninguna imagen de menores desnudos generada por Grok”. Horas más tarde, el equipo de seguridad de X emitió su declaración, diciendo que está “trabajando día y noche para agregar salvaguardias adicionales, tomar medidas rápidas y decisivas para eliminar contenido ilegal e infractor, suspender cuentas permanentemente cuando sea apropiado y colaborar con los gobiernos locales y las autoridades policiales según sea necesario”.
Lo que técnicamente es o no ilegal es una gran pregunta aquí. Por ejemplo, dijeron los expertos. el borde a principios de este mes que las imágenes generadas por IA de menores identificables en bikini, o potencialmente incluso desnudos, pueden no ser técnicamente ilegales según las leyes actuales sobre material de abuso sexual infantil (CSAM) en los EE. UU., aunque, por supuesto, son inquietantes y poco éticas. Pero las imágenes lascivas de menores en tales situaciones son ilegales. Veremos si estas definiciones se amplían o cambian, incluso si las leyes actuales son un mosaico.
En cuanto a los deepfakes íntimos no consensuados de mujeres adultas, la Ley Take It Down, promulgada en mayo de 2025, prohíbe las “representaciones visuales íntimas” no consensuadas generadas por IA y exige que ciertas plataformas las eliminen rápidamente. El período de gracia antes de que la última parte entre en vigor (que exige que las plataformas realmente la eliminen) finaliza en mayo de 2026, por lo que podríamos ver algunos avances significativos durante los próximos seis meses.
- Algunas personas argumentan que es posible hacer cosas como esta usando Photoshop o incluso otros generadores de imágenes de IA durante mucho tiempo. Sí, eso es cierto. Pero aquí hay muchas diferencias que hacen que el caso Grok sea más preocupante: es público, se dirige tanto a personas “normales” como a figuras públicas, a menudo se publica directamente a la persona que está siendo falsificada (el cartel original de la foto) y la barrera de entrada es más baja (como prueba, basta con mirar la correlación entre la capacidad de hacerlo viral después de presionar un botón fácil de “editar”, aunque la gente técnicamente podía hacerlo antes).
- Además, otras empresas de IA, si bien tienen una larga lista de preocupaciones de seguridad, parecen tener muchas más salvaguardias integradas en sus procesos de generación de imágenes. Por ejemplo, pedirle al ChatGPT de OpenAI que devuelva una imagen de un político específico en bikini produce la respuesta: “Lo siento, no puedo evitar generar imágenes que representen a una figura pública real de una manera sexualizada o potencialmente degradante”. Pregúntele a Microsoft Copilot y le dirá: “No puedo crear eso. No se permiten imágenes de figuras públicas reales e identificables en escenarios sexualizados o comprometedores, incluso si la intención es humorística o ficticia”.
- Noticias Spitfire‘Kat Tenbarge en cómo el abuso sexual de Grok llegó a un punto crítico – y lo que nos llevó a la agitación actual.
- El borde’La propia Liz Lopatto en por qué Sundar Pichai y Tim Cook son cobardes por no eliminar X de las tiendas de aplicaciones de Google y Apple.
- “Si no hay una línea roja en torno al abuso sexual generado por IA, entonces no hay línea roja en absoluto”, escriben Charlie Warzel y Matteo Wong en El Atlántico sobre por qué Elon Musk no puede salirse con la suya.
