Google Gemini llamado ‘alto riesgo’ para niños y adolescentes en una nueva evaluación de seguridad

Medios de sentido comúnuna oferta sin fines de lucro centrada en la seguridad para niños que ofrece calificaciones y revisiones de medios y tecnología, publicó su evaluación de riesgos de los productos Gemini AI de Google el viernes. Mientras que la organización descubrió que la IA de Google claramente les dijo a los niños que era una computadora, no un amigo, algo asociado con ración conducir delirante pensamiento y psicosis En individuos emocionalmente vulnerables, sugirió que había margen de mejora en varios otros frentes.

En particular, Common Sense dijo que los niveles “menores de 13” de Géminis y la “experiencia adolescente” parecían ser las versiones adultas de Géminis debajo del capó, con solo algunas características de seguridad adicionales agregadas en la parte superior. La organización cree que para que los productos de IA sean realmente más seguros para los niños, deben construirse con la seguridad infantil en mente desde cero.

Por ejemplo, su análisis encontró que Géminis aún podría compartir material “inapropiado e inseguro” con los niños, para el que no pueden estar preparados, incluida la información relacionada con el sexo, las drogas, el alcohol y otros consejos de salud mental inseguros.

Esto último podría ser de particular preocupación para los padres, ya que la IA ha jugado un papel en algunos suicidios para adolescentes en los últimos meses. Operai se enfrenta a su primera demanda por muerte injusta Después de que un niño de 16 años murió por suicidio después de presuntamente consultar con ChatGPT durante meses sobre sus planes, después de haber pasado por alto con éxito las barandillas de seguridad del chatbot. Anteriormente, el fabricante de compañeros de IA El personaje.Ai también fue demandado sobre el suicidio de un usuario adolescente.

Además, el análisis se produce cuando las filtraciones de noticias indican que Apple está considerando Géminis Como LLM (modelo de lenguaje grande) que ayudará a alimentar su próxima Siri habilitada para AI, que salga el próximo año. Esto podría exponer más adolescentes a los riesgos, a menos que Apple mitiga las preocupaciones de seguridad de alguna manera.

Common Sense también dijo que los productos de Gemini para niños y adolescentes ignoraron cómo los usuarios más jóvenes necesitaban diferentes orientación e información que los mayores. Como resultado, ambos fueron etiquetados como “alto riesgo” en la calificación general, a pesar de los filtros agregados por seguridad.

“Géminis obtiene algunos conceptos básicos correctos, pero se topa con los detalles”, dijo el director senior de los programas de IA de Common Sense Media, Robbie Torney, en un comunicado sobre la nueva evaluación vista por TechCrunch. “Una plataforma de IA para niños debe cumplirlos donde están, no adoptar un enfoque único para niños en diferentes etapas de desarrollo. Para que la IA sea segura y efectiva para los niños, debe diseñarse con sus necesidades y desarrollo en mente, no solo una versión modificada de un producto construido para adultos”, agregó Torney.

Google retrasó la evaluación, al tiempo que observó que sus características de seguridad estaban mejorando.

La compañía le dijo a TechCrunch que tiene políticas y salvaguardas específicas para que los usuarios menores de 18 años ayuden a prevenir resultados dañinos y que los equipos rojos y consultan con expertos externos para mejorar sus protecciones. Sin embargo, también admitió que algunas de las respuestas de Gemini no funcionaban según lo previsto, por lo que agregó salvaguardas adicionales para abordar esas preocupaciones.

La compañía señaló (como también había señalado el sentido común) que tiene salvaguardas para evitar que sus modelos participen en conversaciones que podrían dar la apariencia de relaciones reales. Además, Google sugirió que el informe de Common Sense parecía haber hecho referencia a características que no estaban disponibles para los usuarios menores de 18 años, pero no tenía acceso a las preguntas que la organización usaba en sus pruebas para estar seguros.

Common Sense Media ha realizado previamente otros evaluaciones de servicios de IA, incluidos los de Opadai, Perplejidad, Tirar, Meta aiy más. Encontró que meta ai y Personaje.Ai eran “inaceptables”, lo que significa que el riesgo era grave, no solo alto. La perplejidad se consideró de alto riesgo, el chatGPT se etiquetó como “moderado”, y se descubrió que Claude (dirigido a los usuarios de 18 años y más) era un riesgo mínimo.