Roblox lanza un sistema de IA de código abierto para proteger a los niños de los depredadores en los chats
Roblox, la plataforma de juegos en línea Muy popular entre los niños y los adolescentesestá implementando una versión de código abierto de un sistema de inteligencia artificial que dice que puede ayudar a detectar preventamente el lenguaje depredador en los chats de juegos.
La medida se produce cuando la compañía enfrenta demandas y críticas que lo acusan de no hacer lo suficiente para proteger a los niños de los depredadores. Por ejemplo, una demanda presentada el mes pasado en Iowa alega que una niña de 13 años fue presentada a un depredador adulto en Roblox, luego secuestrado y traficado en múltiples estados y violada. La demanda, presentada en el Tribunal de Distrito de Iowa en el condado de Polk, afirma que las características de diseño de Roblox hacen que los niños que la usan “presas fáciles para los pedófilos”.
Roblox dice que se esfuerza por hacer que sus sistemas sean lo más seguros posible por defecto, pero señala que “ningún sistema es perfecto, y uno de los mayores desafíos en la industria es detectar daños críticos como el peligro potencial de los niños”.
El sistema de IA, llamado Sentinel, ayuda a detectar signos tempranos de posible peligro para niños, como el lenguaje sexual de explotación. Roblox dice que el sistema ha llevado a la compañía a presentar 1,200 informes de posibles intentos de explotación infantil al Centro Nacional para Niños desaparecidos y explotados en la primera mitad de 2025. La compañía ahora está en el proceso de obtenerlo para que otras plataformas también puedan usarlo.
La detección preventiva de posibles peligros para los niños puede ser complicado para los sistemas de IA, y los humanos también, porque las conversaciones pueden parecer inocuas al principio. Preguntas como “¿Cuántos años tienes?” o “¿De dónde eres?” No necesariamente levantarían banderas rojas por su cuenta, pero cuando se ponen en contexto en el transcurso de una conversación más larga, pueden adquirir un significado diferente.
Roblox, que tiene más de 111 millones de usuarios mensuales, no permite a los usuarios compartir videos o imágenes en chats e intenta bloquear cualquier información personal, como los números de teléfono, como con la mayoría de las reglas de moderación, las personas constantemente encuentran formas de sortear tales salvaguardas.
Tampoco permite que los niños menores de 13 años chaten con otros usuarios fuera de los juegos a menos que tengan un permiso explícito de los padres, y a diferencia de muchas otras plataformas, no cifra conversaciones de chat privadas, por lo que puede monitorearlas y moderarlas.
“Hemos tenido filtros en su lugar todo el tiempo, pero esos filtros tienden a centrarse en lo que se dice en una sola línea de texto o dentro de unas pocas líneas de texto. Y eso es realmente bueno para hacer cosas como bloquear las blasfemias y bloquear diferentes tipos de lenguaje abusivo y cosas así”, dijo Matt Kaufman, jefe de seguridad de Roblox. “Pero cuando estás pensando en cosas relacionadas con el peligro o el arreglo de niños, los tipos de comportamientos que estás viendo se manifiestan durante un período de tiempo muy largo”.
Sentinel captura instantáneas de chats de un minuto en Roblox, alrededor de 6 mil millones de mensajes por día, y los analiza para detectar daños potenciales. Para hacer esto, Roblox dice que desarrolló dos índices: uno compuesto por mensajes benignos y, el otro, los chats que estaban determinados para contener violaciones de peligro infantil. Roblox dice que esto permite al sistema reconocer patrones dañinos que van más allá de simplemente marcar ciertas palabras o frases, llevando toda la conversación a contexto.
“Ese índice mejora a medida que detectamos más actores malos, solo actualizamos continuamente ese índice. Entonces tenemos otra muestra de lo que hace un usuario normal y regular?” dijo Naren Koneru, vicepresidenta de ingeniería de confianza y seguridad en Roblox.
A medida que los usuarios están chatando, el sistema mantiene el puntaje: ¿están más cerca del clúster positivo o el clúster negativo?
“No sucede en un mensaje porque solo envía un mensaje, pero sucede debido a que todas las interacciones de sus días conducen a uno de estos dos”, dijo Koneru. “Entonces decimos, está bien, tal vez este usuario es alguien que necesitamos para ver mucho más de cerca, y luego vamos a extraer todas sus otras conversaciones, otros amigos y los juegos que jugaron y todas esas cosas”.
Los humanos revisan las interacciones riesgosas y la bandera a la aplicación de la ley en consecuencia.
