Roblox está compartiendo su herramienta de IA para combatir chats de juegos tóxicos, aquí está por qué eso es importante para los niños
Los chats de juegos en línea son conocidos por el comportamiento vulgar, ofensivo e incluso criminal. Incluso si solo un pequeño porcentaje, los muchos millones de horas de chat pueden acumular muchas interacciones tóxicas de una manera que es un problema para los jugadores y las compañías de videojuegos, especialmente cuando involucra a los niños. Roblox tiene mucha experiencia en el tratamiento de ese aspecto de los juegos y ha utilizado la IA para crear un sistema completo para hacer cumplir las reglas de seguridad entre sus más de 100 millones de usuarios diarios en su mayoría jóvenes, Sentinel. Ahora, es Sentinel de origen abierto, que ofrece la IA y su capacidad para identificar el aseo y otro comportamiento peligroso en el chat antes de que se intente de forma gratuita a cualquier plataforma.
Este no es solo un filtro de blasfemias que se activa cuando alguien escribe una palabra de maldición. Roblox siempre ha tenido eso. Sentinel está construido para observar patrones con el tiempo. Puede rastrear cómo evolucionan las conversaciones, buscando señales sutiles de que alguien está tratando de generar confianza con un niño de manera potencialmente problemática. Por ejemplo, podría marcar una larga conversación en la que un jugador que suena adulto está demasiado interesado en la vida personal de un niño.
Sentinel ayudó a los moderadores de Roblox a presentar alrededor de 1.200 informes al Centro Nacional para niños desaparecidos y explotados en la primera mitad de este año. Como alguien que creció en el salvaje oeste de las primeras salas de chat de Internet, donde la “moderación” generalmente significaba sospechar que las personas que usaban la ortografía correcta y la gramática eran adultos, no puedo exagerar cuánto se siente un salto hacia adelante.
Sentinel de origen abierto significa cualquier juego o plataforma en línea, ya sea tan grande como Minecraft O tan pequeño como un éxito independiente subterráneo, puede adaptarse a Sentinel y usarlo para que sus propias comunidades sean más seguras. Es un movimiento inusualmente generoso, aunque uno con relaciones públicas obvias y posibles beneficios comerciales a largo plazo para la empresa.
Para los niños (y sus tutores adultos), los beneficios son obvios. Si más juegos comienzan a ejecutar cheques al estilo centinela, las probabilidades de que los depredadores se deslicen a través de las grietas disminuyen. Los padres obtienen otra red de seguridad invisible que no tenían que establecerse. Y los niños se centran en jugar en lugar de navegar el equivalente en línea de un callejón oscuro.
Para los videojuegos en su conjunto, es una oportunidad para elevar la línea de base de la seguridad. Imagínese si cada juego importante, desde el más grande deportes electrónicos Los títulos para los simuladores más pequeños y acogedores, tenían acceso al mismo tipo de sistema de alerta temprana. No eliminaría el problema, pero podría hacer un mal comportamiento mucho más difícil de esconder.
AI para seguridad en línea
Por supuesto, nada con “IA” en la descripción no tiene sus complicaciones. El más obvio es la privacidad. Este tipo de herramienta funciona escaneando lo que la gente se dice entre sí, en tiempo real, buscando banderas rojas. Roblox dice que utiliza instantáneas de chat de un minuto y mantiene un proceso de revisión humana para cualquier cosa marcada. Pero realmente no puedes evitar el hecho de que esto es vigilancia, incluso si es bien intencionado. Y cuando estás de código abierto una herramienta como esta, no solo estás dando a los buenos tipos una copia; También haces que sea más fácil para los malos actores ver cómo los estás deteniendo y se te ocurren formas en torno al sistema.
Luego está el problema del lenguaje en sí. La gente cambia cómo hablan todo el tiempo, especialmente en línea. Los cambios de argot, los chistes mutan y las nuevas aplicaciones crean una nueva taquigrafía. Un sistema entrenado para atrapar intentos de aseo en 2024 podría perderse los que suceden en 2026. Roblox actualiza Sentinel regularmente, tanto con capacitación de IA como de revisión humana, pero las plataformas más pequeñas pueden no tener los recursos para mantenerse al día con lo que está sucediendo en sus chats.
Y aunque ninguna persona sana está en contra de evitar que los depredadores o idiotas infantiles traten deliberadamente de molestar a los niños, las herramientas de IA como esta pueden ser abusadas. Si ciertas conversaciones políticas, opiniones controvertidas o simplemente quejas sobre el juego se agregan a la lista de filtros, hay pequeños jugadores que pueden hacer al respecto. Roblox y cualquier compañía que use Sentinel necesitará ser transparente, no solo con el código, sino también con cómo se está implementando y para qué se utilizarán los datos que recopila.
También es importante considerar el contexto de la decisión de Roblox. La compañía enfrenta demandas sobre lo que sucedió con los niños que usan la plataforma. Una demanda alega que un ritmo de 13 años fue traficado después de reunirse con un depredador en la plataforma. Sentinel no es perfecto, y las empresas que lo usan aún podrían enfrentar problemas legales. Idealmente, serviría como un componente de las configuraciones de seguridad en línea que incluyen cosas como una mejor educación de usuarios y controles de los padres. AI no puede reemplazar todos los programas de seguridad.
A pesar de los problemas muy reales de implementar la IA para ayudar con la seguridad en línea, creo que Sentinel de emisión abierta es uno de los casos raros en los que la ventaja de usar IA es inmediata y tangible. He escrito lo suficiente sobre los algoritmos que hacen que la gente se enoje, confunda o me haya roto apreciando cuándo uno realmente apunta a hacer que las personas sean más seguras. Y hacerlo de código abierto puede ayudar a que más espacios en línea sean más seguros.
No creo que Sentinel detenga a todos los depredadores, y no creo que debería ser un reemplazo para una buena crianza de los hijos, una mejor moderación humana y educar a los niños sobre cómo estar seguros cuando juega en línea. Pero como una sutil línea de defensa adicional, Sentinel tiene un papel que jugar en la construcción de mejores experiencias en línea para los niños.
