Las escuelas están utilizando IA para proteger a los estudiantes. También conduce a falsas alarmas, y arresta

Lesley Mathis sabe lo que su hija dijo que estaba mal. Pero nunca esperó que la niña de 13 años fuera arrestada por ello.

La adolescente hizo una broma ofensiva mientras conversaba en línea con sus compañeros de clase, desencadenando el Software de vigilancia de la escuela.

Antes de que terminara la mañana, el estudiante de octavo grado de Tennessee estaba bajo arresto. Fue interrogada, buscada en franjas y pasó la noche en una celda de la cárcel, dice su madre.

Temprano en el día, sus amigos se habían burlado de la adolescente sobre su tez bronceada y la llamaron “mexicana”, a pesar de que no lo es. Cuando una amiga preguntó qué estaba planeando para el jueves, escribió: “El jueves matamos a todos los de México”.

Mathis dijo que los comentarios eran “incorrectos” y “estúpidos”, pero el contexto mostró que no eran una amenaza.

“Me hizo sentir como, ¿es esta la América en la que vivimos?” Mathis dijo sobre el arresto de su hija. “Y fue esta estúpida y estúpida tecnología la que solo está pasando por recoger palabras aleatorias y no mirar el contexto”.

Los sistemas de vigilancia en las escuelas estadounidenses controlan cada vez más todo lo que los estudiantes escriben en cuentas y dispositivos escolares. Miles de distritos escolares En todo el país, use software como Gaggle y Lightspeed Alert para rastrear las actividades en línea de los niños, buscando señales que puedan lastimarse a sí mismos o a otros. Con la ayuda de inteligencia artificialla tecnología puede sumergirse en conversaciones en línea e inmediatamente notificar a los funcionarios escolares y a la aplicación de la ley.

Los educadores dicen que la tecnología ha salvado vidas. Pero los críticos advierten que puede criminalizar a los niños por palabras descuidadas.

“Ha rutinizado el acceso y la presencia de la aplicación de la ley en la vida de los estudiantes, incluso en su hogar”, dijo Elizabeth Laird, directora del Centro de Democracia y Tecnología.

En un país cansado de los tiroteos escolares, varios estados han tomado una línea más difícil de amenazas para las escuelas. Entre ellos está Tennessee, que aprobó una ley de tolerancia cero de 2023 que requiere cualquier amenaza de violencia masiva contra una escuela que se informará de inmediato a la policía.

La niña de 13 años arrestada en agosto de 2023 había estado enviando mensajes de texto con amigos en una función de chat vinculada al correo electrónico de su escuela en Fairview Middle School, que usa Gaggle para monitorear las cuentas de los estudiantes. (Associated Press está reteniendo el nombre de la niña para proteger su privacidad. El distrito escolar no respondió a una solicitud de comentarios).

Llevado a la cárcel, la adolescente fue interrogada y extraída, y a sus padres no se les permitió hablar con ella hasta el día siguiente, según un pleito Se presentaron contra el sistema escolar. Ella no sabía por qué sus padres no estaban allí.

“Ella me dijo después, ‘Pensé que me odiaste’. Eso te persigue ”, dijo Mathis, la madre de la niña.

Un tribunal ordenó ocho semanas de arresto domiciliario, una evaluación psicológica y 20 días en una escuela alternativa para la niña.

El CEO de Gaggle, Jeff Patterson, dijo en una entrevista que el sistema escolar no usó Gaggle de la manera que está destinada. El propósito es encontrar señales de alerta temprana e intervenir antes de que los problemas se intensifiquen a la aplicación de la ley, dijo.

“Desearía que fuera tratado como un momento de enseñanza, no como un momento de aplicación de la ley”, dijo Patterson.

Los estudiantes que piensan que están charlando en privado entre amigos a menudo no se dan cuenta de que están bajo vigilancia constante, dijo Shahar Pasch, abogado de educación en Florida.

Una adolescente que representó hizo una broma sobre tiroteos escolares en una historia privada de Snapchat. El software de detección automatizado de Snapchat recogió el comentario, la compañía alertó al FBI y la niña fue arrestada por terrenos escolares en cuestión de horas.

Alexa Manganiotis, de 16 años, dijo que se sorprendió por la rapidez con que funciona el software de monitoreo. La Escuela de Artes Dreyfoos de West Palm Beach, a la que asiste, el año pasado se puso a prueba Alerta de la velocidad de la luzun programa de vigilancia. Entrevistando a una maestra para el periódico de su escuela, Alexa descubrió que dos estudiantes una vez escribieron algo amenazante sobre esa maestra en una computadora de la escuela, luego lo eliminó. Lightspeed lo recogió y “fueron llevados como cinco minutos después”, dijo Alexa.

Los adolescentes enfrentan consecuencias más empinadas que los adultos por lo que escriben en línea, dijo Alexa.

“Si un adulto hace una broma súper racista que amenaza en su computadora, puede eliminarla y no serían arrestadas”, dijo.

Amy Bennett, jefe de personal de Lightspeed Systems, dijo que el software ayuda a las escuelas con poco personal a “ser proactivas en lugar de punitivas” al identificar señales de advertencia temprana de acoso, autolesión, violencia o abuso.

La tecnología también puede involucrar a la aplicación de la ley en las respuestas a las crisis de salud mental. En las escuelas del condado de Polk de Florida, un distrito de más de 100,000 estudiantes, el programa de seguridad escolar recibió casi 500 alertas de Gaggle durante cuatro años, dijeron los oficiales en las reuniones de la Junta Pública de Educación. Esto llevó a 72 casos de hospitalización involuntario en virtud de la Ley Baker, una ley estatal que permite a las autoridades requerir evaluaciones de salud mental para las personas contra su voluntad si representan un riesgo para sí mismos u otros.

“Un número realmente alto de niños que experimentan un examen involuntario lo recuerdan como una experiencia realmente traumática y dañina, no algo que les ayude con su atención de salud mental”, dijo Sam Boyd, abogado del Centro de Leyes de Pobreza del Sur. Los distritos escolares de Polk y West Palm Beach no proporcionaron comentarios.

La información que podría permitir a las escuelas evaluar la efectividad del software, como la tasa de alertas falsas, está estrechamente sostenida por las compañías de tecnología y no disponibles públicamente a menos que las escuelas rastreen los datos en sí.

Gaggle alertó a más de 1.200 incidentes al distrito escolar de Lawrence, Kansas, en un período reciente de 10 meses. Pero casi dos tercios de esas alertas fueron consideradas por los funcionarios escolares como no indicados, incluidas más de 200 falsas alarmas de la tarea de los estudiantes, según un análisis de los datos de Associated Press recibidos a través de una solicitud de registros públicos.

Estudiantes en uno clase de fotografía fueron llamados a la oficina del director por las preocupaciones de que Gaggle había detectado desnudos. Las fotos habían sido eliminadas automáticamente de las unidades de Google de los estudiantes, pero los estudiantes que tenían copias de seguridad de las imágenes marcadas en sus propios dispositivos mostraron que era una falsa alarma. Los funcionarios del distrito dijeron que luego ajustaron la configuración del software para reducir las falsas alertas.

Natasha Torkzaban, quien se graduó en 2024, dijo que fue señalada por editar el ensayo universitario de un amigo porque tenía las palabras “salud mental”.

“Creo que idealmente no pegaríamos una solución nueva y brillante de IA en un tema profundamente arraigado de la salud mental para adolescentes y las tasas de suicidio en Estados Unidos, pero ahí es donde estamos ahora”, dijo Torkzaban. Estaba entre un grupo de estudiantes periodistas y artistas de Lawrence High School que presentó un pleito Contra el sistema escolar la semana pasada, alegando que Gaggle los sometió a una vigilancia inconstitucional.

Los funcionarios escolares han dicho que se preocupan en serio sobre Gaggle, pero también dicen que la tecnología ha detectado docenas de amenazas inminentes de suicidio o violencia.

“A veces tienes que mirar el comercio por el bien mayor”, dijo la miembro de la Junta de Educación, Anne Costello, en una reunión de la junta de julio de 2024.

Dos años después de su terrible experiencia, Mathis dijo que su hija está mejor, aunque todavía está “aterrorizada” de encontrarse con uno de los oficiales de la escuela que la arrestaron. Un punto brillante, dijo, era la compasión de los maestros en la escuela alternativa de su hija. Se tomaron un tiempo todos los días para dejar que los niños compartan sus sentimientos y frustraciones, sin juzgar.

“Es como si solo quisiéramos que los niños sean estos pequeños soldados, y no lo son”, dijo Mathis. “Son solo humanos”.

___

Este informe revisó las reuniones de la junta escolar publicadas en YouTube, cortesía de DistrictView, un conjunto de datos creado por los investigadores Tyler Simko, Mirya Holman y Rebecca Johnson.

___

La cobertura educativa de Associated Press recibe apoyo financiero de múltiples fundaciones privadas. AP es el único responsable de todo el contenido. Encuentra AP’s estándares para trabajar con filantropías, un lista de seguidores y áreas de cobertura financiada en AP.org.