antrópico posición moral El uso militar estadounidense de la inteligencia artificial está remodelando la competencia entre las principales empresas de inteligencia artificial, pero también está exponiendo una creciente conciencia de que tal vez los chatbots simplemente no sean lo suficientemente capaces para realizar actos de guerra.
El chatbot Claude de Anthropic superó por primera vez a su rival ChatGPT en descargas de aplicaciones telefónicas en los Estados Unidos esta semana, una señal del creciente interés de los consumidores en apoyar a Anthropic en su enfrentamiento con el Pentágono, según la firma de investigación de mercado Sensor Tower.
La administración Trump ordenó el viernes a las agencias gubernamentales deja de usar claude y lo designó como un riesgo para la cadena de suministro después de que el director ejecutivo de Anthropic, Dario Amodei, se negara a violar las salvaguardias éticas de su empresa al bloquear la aplicación de la tecnología a armas autónomas y vigilancia nacional masiva. Anthropic dijo que desafiará al Pentágono ante los tribunales tan pronto como reciba la notificación formal de las sanciones.
Y aunque muchos expertos militares y de derechos humanos han aplaudido a Amodei por defender principios éticos, algunos también se sienten frustrados por años de marketing de la industria de la IA que ha persuadido al gobierno a aplicar la tecnología a tareas de alto riesgo.
“Él causó este desastre”, dijo Missy Cummings, ex piloto de combate de la Marina que ahora dirige el Centro de Automatización y Robótica de la Universidad George Mason. “Eran la empresa número uno en promover exageraciones ridículas sobre las capacidades de estas tecnologías. Y ahora, de repente, quieren ser reales. Quieren decirle a la gente: ‘Oh, espera un minuto. Realmente no deberíamos usar estas tecnologías en armas'”.
Anthropic no respondió de inmediato a una solicitud de comentarios. El Departamento de Defensa se negó a comentar si todavía utiliza a Claude, incluso en la guerra en Irán, citando seguridad operativa.
Cummings publicó un artículo en una importante conferencia sobre IA en diciembre, argumentando que las agencias gubernamentales deberían prohibir el uso de IA generativa “para controlar, dirigir, guiar o gobernar cualquier arma”. No porque la IA sea tan inteligente que pueda volverse rebelde, sino porque los grandes modelos de lenguaje detrás de los chatbots como Claude cometen demasiados errores –llamados alucinaciones o confabulaciones– y son “intrínsecamente poco confiables y no apropiados en entornos que podrían resultar en la pérdida de vidas”.
“Vas a matar a no combatientes”, dijo Cummings en una entrevista el martes con The Associated Press. “Van a matar a sus propias tropas. No estoy seguro de que los militares realmente comprendan las limitaciones”.
Amodei trató de enfatizar estas limitaciones al defender la posición ética de Anthropic la semana pasada, argumentando que “los sistemas de inteligencia artificial de frontera simplemente no son lo suficientemente confiables para impulsar armas totalmente autónomas. No proporcionaremos, a sabiendas, un producto que ponga en riesgo a los combatientes y civiles de Estados Unidos”.
Anthropic, hasta hace poco, era el único de sus pares que tenía aprobación para su uso en sistemas militares clasificados, donde se asoció con la firma de análisis de datos Palantir y otros contratistas de defensa. El presidente Donald Trump dijo el viernes, casi al mismo tiempo que aprobó los ataques militares del sábado contra Irán, que el Pentágono tendría seis meses para eliminar gradualmente las aplicaciones militares de Anthropic.
Cummings, exasesor de Palantir, dijo que es posible que Claude ya haya sido utilizado en la planificación de ataques militares.
“Básicamente espero que haya humanos involucrados”, dijo. “Un ser humano tiene que cuidar de cerca estas tecnologías. Puedes usarlas para hacer estas cosas, pero tienes que verificar, verificar, verificar”.
Dijo que esto contrasta con los mensajes de las empresas de inteligencia artificial que han sugerido que su tecnología está evolucionando hasta el punto de ser “casi sensible”.
“Si hay culpa aquí, yo diría que la mitad es culpa de Anthropic por impulsar el revuelo y la otra mitad es culpa del Departamento de Guerra por despedir a todas las personas que de otro modo les habrían aconsejado contra el uso estúpido de la tecnología”, dijo Cummings.
Un comentarista de las redes sociales describió esta semana los problemas gubernamentales de Anthropic como un “impuesto excesivo”, un mensaje que fue publicado nuevamente por el principal asesor de inteligencia artificial del presidente Donald Trump, David Sacks, un crítico frecuente de la compañía.
Y si bien causó problemas legales que podrían poner en peligro las asociaciones comerciales de Anthropic con otros contratistas militares, también reforzó su reputación como desarrollador de IA consciente de la seguridad.
“Es aplaudido que una empresa se haya enfrentado al gobierno para mantener lo que consideraba sus opciones éticas y comerciales, incluso frente a estas respuestas políticas potencialmente paralizantes”, dijo Jennifer Huddleston, investigadora principal del Cato Institute, de tendencia libertaria.
Los consumidores ya se han pronunciado, lo que provocó una ola de descargas de Claude que la convirtieron en la aplicación más popular para iPhone a partir del sábado y para todos los sistemas telefónicos en los EE. UU. el lunes, según Sensor Tower. Esto se produjo a expensas de ChatGPT de OpenAI, que vio dañada su reputación como consumidor cuando anunció un acuerdo el viernes con el Pentágono para reemplazar efectivamente Anthropic con ChatGPT en entornos clasificados.
En la tienda de Apple, la cantidad de reseñas de 1 estrella (la peor calificación) para ChatGPT creció un 775% el sábado y continuó creciendo a principios de esta semana, lo que refleja una reacción que obligó a OpenAI a controlar los daños.
“No deberíamos habernos apresurado a publicar esto el viernes”, dijo el lunes el director ejecutivo de OpenAI, Sam Altman, en una publicación en las redes sociales. “Los problemas son muy complejos y requieren una comunicación clara. Realmente estábamos tratando de calmar las cosas y evitar un resultado mucho peor, pero creo que pareció oportunista y descuidado”.
Altman reunió a los empleados para una reunión general el martes para discutir los próximos pasos.
“Hay muchas cosas para las que la tecnología simplemente no está preparada y muchas áreas para las cuales aún no entendemos las compensaciones de seguridad necesarias”, dijo Altman en X. “Trabajaremos en esto, lentamente, con el (Pentágono), con salvaguardias técnicas y otros métodos”.
