La trampa que Anrópica se construyó

El viernes por la tarde, justo cuando se realizaba esta entrevista, apareció una alerta de noticias en la pantalla de mi computadora: la administración Trump estaba rompiendo lazos con Anthropic, la compañía de inteligencia artificial de San Francisco fundada en 2021 por Dario Amodei y otros ex investigadores de OpenAI que se fueron por motivos de seguridad. El secretario de Defensa, Pete Hegseth, invocó una ley de seguridad nacional -diseñado para combatir amenazas extranjeras a la cadena de suministro- para incluir a la compañía en la lista negra para que no hiciera negocios con el Pentágono después de que Amodei se negó a permitir que la tecnología de Anthropic se utilizara para la vigilancia masiva de ciudadanos estadounidenses o para drones armados autónomos que pudieran seleccionar y matar objetivos sin intervención humana.

Fue una secuencia asombrosa. Anthropic está ahora a punto de perder un contrato por valor de hasta 200 millones de dólares, además de que se le impida trabajar con otros contratistas de defensa después de que el presidente Trump publicara en Truth Social ordenando a todas las agencias federales que “cesaran inmediatamente todo uso de la tecnología Anthropic”. (Anthropic ha dicho desde entonces que desafiar al Pentágono en los tribunalescalificando la designación de riesgo de la cadena de suministro como legalmente inapropiada y “nunca antes aplicada públicamente a una empresa estadounidense”).

Max Tegmark ha pasado la mayor parte de una década advirtiendo que la carrera por construir sistemas de IA cada vez más potentes está superando la capacidad del mundo para gobernarlos. El físico sueco-estadounidense y profesor del MIT fundó el Instituto del Futuro de la Vida en 2014. En 2023, ayudó a organizar una carta abierta – firmado por más de 33.000 personas, incluido Elon Musk – pidiendo una pausa en el desarrollo avanzado de la IA.

Su visión de la crisis antropogénica es implacable: la empresa, como sus rivales, sembró las semillas de su propia situación. El argumento de Tegmark no comienza con el Pentágono, sino con una decisión tomada años antes: una opción, compartida por toda la industria, de resistirse a una regulación vinculante. Anthropic, OpenAI, Google DeepMind y otros han prometido durante mucho tiempo gobernarse a sí mismos de manera responsable. A principios de esta semana, Anthropic incluso abandonó el Principio central de su propio compromiso de seguridad. – su promesa de no lanzar sistemas de inteligencia artificial cada vez más potentes hasta que la empresa estuviera segura de que no causarían daño.

Ahora, a falta de reglas, no hay mucho que pueda proteger a estos jugadores, afirma Tegmark. Aquí hay más información de esa entrevista, editada para mayor extensión y claridad. Puedes escuchar la conversación completa la próxima semana en TechCrunch Descargar estrictamente VC podcast.

Cuando viste hace un momento esta noticia sobre Anrópica, ¿cuál fue tu primera reacción?

El camino al infierno está empedrado de buenas intenciones. Es realmente interesante recordar hace una década, cuando la gente estaba tan entusiasmada acerca de cómo íbamos a crear inteligencia artificial para curar el cáncer, aumentar la prosperidad en Estados Unidos y fortalecerlo. Y aquí estamos ahora, donde el gobierno de EE.UU. está molesto con esta empresa por no querer que la IA se utilice para la vigilancia doméstica masiva de los estadounidenses, y también por no querer tener robots asesinos que puedan decidir de forma autónoma, sin ninguna intervención humana, quién muere.

Anthropic apostó toda su identidad por ser una empresa de inteligencia artificial que prioriza la seguridad y, sin embargo, colaboraba con agencias de defensa e inteligencia. [dating back to at least 2024]. ¿Crees que esto es contradictorio?

Es contradictorio. Si puedo dar una opinión un poco cínica sobre esto, sí, Anthropic ha sido muy bueno promocionándose como un problema de seguridad. Pero si realmente nos fijamos en los hechos y no en las afirmaciones, lo que veremos es que Anthropic, OpenAI, Google DeepMind y xAI han hablado mucho sobre cómo se preocupan por la seguridad. Ninguno de ellos apoyó normas de seguridad vinculantes como lo hacemos en otras industrias. Y estas cuatro empresas han incumplido sus propias promesas. Primero tuvimos Google, ese gran eslogan: “No seas malo”. Entonces abandonaron eso. Luego abandonaron otro compromiso más largo que básicamente decía que prometían no dañar la IA. Lo abandonaron para poder vender IA para vigilancia y armas. OpenAI acaba de eliminar la palabra seguridad de su declaración de misión. xAI ha cerrado todo su equipo de seguridad. Y ahora Anthropic, a principios de esta semana, abandonó su compromiso de seguridad más importante: la promesa de no lanzar potentes sistemas de inteligencia artificial hasta que estuvieran seguros de que no causarían daño.

¿Cómo terminaron en esta posición empresas que asumieron compromisos de seguridad tan importantes?

Todas estas empresas, especialmente OpenAI y Google DeepMind, pero hasta cierto punto también Anthropic, han presionado persistentemente contra la regulación de la IA, diciendo: “Confíen en nosotros, nos regularemos nosotros mismos”. Y presionaron con éxito. Así que ahora mismo tenemos menos regulación sobre los sistemas de inteligencia artificial en Estados Unidos que sobre los sándwiches. Ya sabes, si quieres abrir una tienda de sándwiches y el inspector de salud encuentra 15 ratas en la cocina, no te dejará vender ningún sándwich hasta que los hagas. Pero si dices: “No te preocupes, no voy a vender sándwiches, voy a vender novias con inteligencia artificial a niños de 11 años, y se las ha relacionado con suicidios en el pasado, y luego voy a lanzar algo llamado superinteligencia que podría derribar al gobierno de Estados Unidos, pero tengo un buen presentimiento sobre el mío”, el inspector tiene que decir: “Está bien, adelante, pero no vendas sándwiches”.

Existen regulaciones de seguridad alimentaria y no regulaciones de IA.

Y siento que todas estas empresas realmente comparten la culpa. Porque si hubieran aceptado todas esas promesas que hicieron en aquel entonces sobre cómo serían tan seguros y agradables, y se hubieran reunido, y luego hubieran ido al gobierno y hubieran dicho: ‘Por favor, acepte nuestros compromisos voluntarios y conviértalos en leyes estadounidenses que vinculen incluso a nuestros competidores más descuidados’, eso habría sucedido. Estamos en un completo vacío regulatorio. Y sabemos lo que sucede cuando hay una amnistía corporativa completa: tienes talidomidahay compañías tabacaleras que venden cigarrillos a los niños, hay amianto que causa cáncer de pulmón. Así que es un poco irónico que su propia resistencia a tener leyes que les digan qué es correcto y qué no se debe hacer con la IA ahora esté regresando y afectándolos.

En este momento no existe ninguna ley que prohíba la creación de IA para matar estadounidenses, por lo que el gobierno puede solicitarla de repente. Si las propias empresas hubieran dicho antes: ‘Queremos esta ley’, no estarían en esta situación. Realmente se pegaron un tiro en el pie.

El contraargumento de las empresas es siempre competir con China: si las empresas estadounidenses no lo hacen, Beijing lo hará. ¿Es válido este argumento?

Analicemos esto. El argumento más común de los lobistas de las empresas de inteligencia artificial (ahora están mejor financiados y son más numerosos que los lobistas de la industria de los combustibles fósiles, la industria farmacéutica y el complejo industrial militar juntos) es que cada vez que alguien propone cualquier tipo de regulación, dice: “Pero China”. Así que echemos un vistazo a esto. China está en proceso de prohibir por completo las novias IA. No sólo límites de edad: están pensando en prohibirlos toda IA ​​antropomórfica. ¿Por qué? No porque quieran complacer a Estados Unidos, sino porque sienten que esto está perjudicando a la juventud china y debilitando a China. Obviamente, esto también está restando poder a la juventud estadounidense.

Y cuando la gente dice que tenemos que correr para construir superinteligencia para poder vencer a China, cuando en realidad no sabemos cómo controlar la superinteligencia, por lo que el resultado predeterminado es que la humanidad pierda el control de la Tierra ante máquinas alienígenas, ¿adivinen qué? Al Partido Comunista Chino realmente le gusta el control. ¿Quién en su sano juicio piensa que Xi Jinping tolerará que una empresa china de inteligencia artificial construya algo que derroque al gobierno chino? No hay posibilidad. Evidentemente, también sería muy malo para el gobierno estadounidense si fuera derrocado mediante un golpe de Estado por parte de la primera empresa estadounidense que construyera superinteligencia. Esta es una amenaza a la seguridad nacional.

Este es un marco convincente: la superinteligencia como una amenaza a la seguridad nacional, no como un activo. ¿Cree que esta visión está ganando terreno en Washington?

Creo que si la gente de la comunidad de seguridad nacional escucha a Dario Amodei describir su visión -pronunció un famoso discurso en el que dice que pronto tendremos una país de genios en un centro de datos – podrían empezar a pensar: espera, ¿Darío acaba de usar la palabra “país”? Tal vez debería incluir a ese país de genios en un centro de datos en la misma lista de amenazas que estoy monitoreando, porque eso parece siniestro para el gobierno de Estados Unidos. Y creo que muy pronto, suficientes personas en la comunidad de seguridad nacional de Estados Unidos se darán cuenta de que la superinteligencia incontrolable es una amenaza, no una herramienta. Esto es totalmente análogo a la Guerra Fría. Hubo una carrera por el dominio –económico y militar– contra la Unión Soviética. Los estadounidenses ganamos ésta sin involucrarnos siquiera en la segunda carrera, que consistía en ver quién podía abrir la mayor cantidad de cráteres nucleares en la otra superpotencia. La gente se dio cuenta de que era sólo un suicidio. Nadie gana. La misma lógica se aplica aquí.

¿Qué significa todo esto para el ritmo de desarrollo de la IA en términos más generales? ¿Qué tan cerca crees que estamos de los sistemas que estás describiendo?

Hace seis años, casi todos los expertos en IA que conocí predijeron que faltaban décadas para tener una IA que pudiera dominar el lenguaje y el conocimiento a nivel humano, tal vez en 2040, tal vez en 2050. Todos estaban equivocados, porque ya lo tenemos ahora. Hemos visto que la IA progresa muy rápidamente desde el nivel de escuela secundaria hasta el nivel universitario, desde el nivel de doctorado hasta el nivel de profesor universitario en algunas áreas. El año pasado, la IA ganó la medalla de oro en la Olimpiada Internacional de Matemáticas, que es tan difícil como las tareas humanas. I escribió un artículo junto con Josué Bengio, y hendrycksy otros destacados investigadores de IA dieron hace apenas unos meses una definición rigurosa de AGI. Según esto, GPT-4 estaba al 27% del camino recorrido. GPT-5 está al 57% del camino. Así que aún no hemos llegado a ese punto, pero pasar del 27% al 57% sugiere rápidamente que tal vez no lleve tanto tiempo.

Ayer, cuando di una charla a mis estudiantes en el MIT, les dije que incluso si les lleva cuatro años, eso significa que cuando se gradúen, es posible que no puedan conseguir ningún trabajo. Ciertamente no es demasiado pronto para empezar a prepararse para esto.

Anthropic ahora está en la lista negra. Tengo curiosidad por ver qué sucederá a continuación: ¿los otros gigantes de la IA se pondrán de su lado y dirán: ¿no haremos esto también? ¿O alguien como xAI levanta la mano y dice: Anthropic no quería este contrato, lo aceptamos? [Editor’s note: Hours after the interview, OpenAI announced its own deal with the Pentagon.]

Anoche Sam Altman salió y dijo que apoya a Anthropic y que tiene las mismas líneas rojas. Lo admiro por tener el coraje de decir eso. Google, cuando empezamos esta entrevista, no había dicho nada. Si simplemente se quedan callados, creo que será extremadamente embarazoso para ellos como empresa, y muchos de sus empleados sentirán lo mismo. Aún no hemos oído nada de xAI. Así que será interesante verlo. Básicamente, hay un momento en el que todos tienen que mostrar sus verdaderos colores.

¿Existe una versión de esto donde el resultado sea realmente bueno?

Sí, y por eso soy optimista de una manera extraña. Aquí existe una alternativa tan obvia. Si empezamos a tratar a las empresas de IA como a cualquier otra empresa (abandonando la amnistía corporativa), claramente tendrían que hacer algo parecido a un ensayo clínico antes de lanzar algo tan poderoso y demostrar a expertos independientes que saben cómo controlarlo. Entonces tendremos una época dorada con todas las cosas buenas de la IA, sin la angustia existencial. Ese no es el camino que estamos tomando ahora. Pero podría serlo.