La firma de IA desplegó herramienta para detectar la conversación de armas nucleares
La firma de inteligencia artificial (AI) Anthrope ha lanzado una herramienta para detectar hablar sobre armas nucleares, dijo la compañía en una publicación de blog del jueves.
“La tecnología nuclear es inherentemente de doble uso: los mismos principios físicos de que los reactores nucleares potenciales pueden ser mal utilizados para el desarrollo de armas. A medida que los modelos de IA se vuelven más capaces, debemos vigilar de cerca si pueden proporcionar a los usuarios un conocimiento técnico peligroso de manera que pueda amenazar la seguridad nacional”, antrópico “, antrópico”, Antropía “, Antropía”. dijo en la publicación del blog.
“La información relacionada con las armas nucleares es particularmente sensible, lo que hace que la evaluación de estos riesgos sea un desafío para una empresa privada que actúa sola”, continuó la publicación del blog. “Es por eso que en abril pasado nos asociamos con la Administración Nacional de Seguridad Nuclear del Departamento de Energía de los Estados Unidos (DOE) (NNSA) para evaluar nuestros modelos para riesgos de proliferación nuclear y continuar trabajando con ellos en estas evaluaciones”.
Anthrope dijo en la publicación del blog que “iba más allá de evaluar el riesgo para construir las herramientas necesarias para monitorearlo”, y agregó que la empresa hizo “un sistema de IA que clasifica automáticamente el contenido” llamado “clasificador” junto con el DOE y NNSA.
El sistema, según la publicación del blog, “distingue entre conversaciones nuclear relacionadas y benignas con una precisión del 96% en las pruebas preliminares”.
La firma también dijo que el clasificador ha sido utilizado sobre el tráfico para su propio modelo de IA Claude “como parte de nuestro sistema más amplio para identificar el mal uso de nuestros modelos”.
“Los datos de implementación temprana sugieren que el clasificador funciona bien con conversaciones reales de Claude”, agregó Anthrope.
Anthrope también anunció a principios de este mes que ofrecería a Claude a todos los federales rama gubernamental para $ 1 a raíz de un movimiento Operai similar hace unas semanas. En una publicación de blog, Anthrope dijo que las agencias federales obtendrían acceso a dos versiones de Claude.
