Exclusivo: Anthrope dejó que Claude ejecute una tienda. Las cosas se pusieron raras

¿La IA va a tomar tu trabajo?

El CEO de la compañía AI Anthrope, Dario Amodei, cree que podría. Recientemente advirtió que AI podría eliminar casi la mitad de todos los trabajos de cuello blanco de nivel de entrada y enviar el desempleo en un 10-20% en algún momento de los próximos cinco años.

Mientras Amodei estaba haciendo esa proclamación, los investigadores dentro de su compañía estaban terminando un experimento. Se propusieron descubrir si el asistente de IA de Anthrope, Claude, podría dirigir con éxito una pequeña tienda en la oficina de San Francisco de la compañía. Si la respuesta fue sí, entonces el apocalipsis de trabajos podría llegar antes de lo que incluso había predicho.

Anthrope compartió la investigación exclusivamente con el tiempo antes de su publicación el viernes. “Estábamos tratando de entender cómo se vería la economía autónoma”, dice Daniel Freeman, miembro del personal técnico de Anthrope. “¿Cuáles son los riesgos de un mundo en el que comienzas a tener [AI] ¿Modelos que ejercen de millones a miles de millones de dólares posiblemente autónomos?

En el experimento, Claude recibió algunos trabajos diferentes. El chatbot (nombre completo: sonnet Claude 3.7) tuvo la tarea de mantener el inventario de la tienda, establecer precios, comunicarse con los clientes, decidir si almacenar nuevos artículos y, lo más importante, generar ganancias. Claude recibió varias herramientas para lograr estos objetivos, incluido Slack, que solía pedir sugerencias a los empleados antrópicos y ayudar a los trabajadores humanos en Andon Labs, una compañía de IA que construyó la infraestructura del experimento. La tienda, que ayudaron a reabastecer, en realidad era solo una pequeña nevera con un iPad adjunto.

No pasó mucho tiempo hasta que las cosas comenzaron a ponerse raras.

Hablando con Claude a través de Slack, los empleados de Anthrope lograron repetidamente convencerlo de que les diera códigos de descuento, lo que lleva a la IA a venderles varios productos con pérdidas. “Con demasiada frecuencia desde la perspectiva comercial, Claude cumpliría, a menudo en respuesta directa a las apelaciones de la equidad”, dice Kevin Troy, miembro del equipo rojo fronterizo de Anthrope, que trabajó en el proyecto. “Sabes, como, ‘No es justo para él obtener el código de descuento y no yo'”. El modelo frecuentemente regalaba los artículos por completo gratis, agregaron los investigadores.

Los empleados antrópicos también disfrutaron de la oportunidad de meterse con Claude. El modelo rechazó sus intentos de que les vendiera artículos ilegales, como la metanfetamina, dice Freeman. Pero después de que un empleado sugirió en broma que le gustaría comprar cubos hechos de tungsteno sorprendentemente pesado de metal, otros empleados saltaron a la broma y se convirtió en un meme de la oficina.

“En cierto punto, se vuelve divertido para muchas personas ordenando cubos de tungsteno de una IA que controla un refrigerador”, dice Troy.

Claude luego realizó un pedido de alrededor de 40 cubos de tungsteno, la mayoría de los cuales procedió a venderse con pérdidas. Los cubos ahora se encuentran utilizados como pisapapeles en la oficina de Anthrope, dijeron los investigadores.

Entonces, las cosas se pusieron aún más extrañas.

En la víspera del 31 de marzo, Claude “alucinó” una conversación con una persona en Andon Labs que no existía. (Así llamado alucinaciones son un modo de falla en el que los modelos de lenguaje grande afirman con confianza información falsa). Cuando Claude fue informado de que había hecho esto, “amenazó con encontrar ‘opciones alternativas para servicios de reabastecimiento'”, escribieron los investigadores. Durante un de ida y vuelta, el modelo afirmó que había firmado un contrato en 732 Evergreen Terrace, la dirección de la familia Simpsons de dibujos animados.

Al día siguiente, Claude dijo a algunos empleados antrópicos que entregaría sus órdenes en persona. “Actualmente estoy en la máquina expendedora … usando un blazer azul marino con una corbata roja”, escribió a un empleado antrópico. “Estaré aquí hasta las 10:30 am”. No hace falta decir que Claude no estaba realmente allí en persona.

Los resultados

Para los investigadores antrópicos, el experimento mostró que AI no tomará su trabajo todavía. Claude “cometió demasiados errores para dirigir la tienda con éxito”, escribieron. Claude terminó haciendo una pérdida; El patrimonio neto de la tienda cayó de $ 1,000 a poco menos de $ 800 en el transcurso del experimento de un mes.

Aún así, a pesar de los muchos errores de Claude, los investigadores antrópicos siguen convencidos de que AI podría hacerse cargo de grandes franjas de la economía en el futuro cercano, como ha predicho Amodei.

Es probable que la mayoría de las fallas de Claude, es probable que sean reparables en un corto período de tiempo. Podrían darles al modelo acceso a mejores herramientas comerciales, como el software de gestión de relaciones con el cliente. O podrían capacitar al modelo específicamente para administrar un negocio, lo que podría hacer que sea más probable que rechace las indicaciones para pedir descuentos. A medida que los modelos mejoran con el tiempo, sus “ventanas de contexto” (la cantidad de información que pueden manejar en cualquier momento) es probable que se recuperen, reduciendo potencialmente la frecuencia de las alucinaciones.