Las empresas de inteligencia artificial deben ser transparentes sobre los riesgos que plantean sus productos o corren el riesgo de repetir los errores de las empresas tabacaleras y de opioides, según el director ejecutivo de la startup de IA Anthropic.
Dario Amodei, que dirige la empresa estadounidense detrás del chatbot Claude, dijo que creía que la IA se volvería más inteligente que “la mayoría o todos los humanos, en la mayoría o en todos los sentidos” e instó a sus pares a “llamarla como la ven”.
En declaraciones a CBS News, Amodei dijo que la falta de transparencia sobre el impacto de la poderosa IA repetiría los errores de los cigarrillos y empresas de opioides ¿Quién no pudo levantar uno? bandera roja sobre los posibles daños a la salud causados por sus propios productos.
“Se podría terminar en el mundo de las compañías de cigarrillos o de opioides, donde sabían que había peligros, no hablaban de ellos y ciertamente no los prevenían”, dijo.
Amodei advirtió este año que la IA podría eliminar la mitad de todos los empleos administrativos de nivel inicial – funciones administrativas como contabilidad, derecho y banca – dentro de cinco años.
“Sin intervención, es difícil imaginar que no habrá algún impacto significativo en el empleo. Y mi preocupación es que será de base amplia y más rápido de lo que hemos visto con la tecnología anterior”, dijo Amodei.
Amodei dijo que usó la frase “el siglo XXI comprimido” para describir cómo la IA podría lograr avances científicos mucho más rápido que en décadas anteriores.
“¿Podríamos lograr un ritmo de progreso diez veces mayor y, por lo tanto, comprimir en cinco o diez años todo el progreso médico que se produciría a lo largo de todo el siglo XXI?” preguntó.
Amodei es una voz destacada en materia de seguridad en línea y Anthropic recientemente señaló varias preocupaciones sobre sus modelos de IA, incluido un aparente conciencia de que están siendo evaluados e intentar cometer chantaje.
Afirmó la semana pasada que un grupo patrocinado por el estado chino había usó su herramienta Claude Code para atacar 30 entidades alrededor del mundo en septiembre, logrando un “puñado de intrusiones exitosas”.
La compañía dijo que uno de los aspectos más preocupantes del ataque fue que Claude operó en gran medida de forma independiente durante todo el incidente. Entre el 80% y el 90% de las operaciones involucradas se llevaron a cabo sin participación humana.
después de la promoción del boletín
En declaraciones a CBS, Amodei dijo: “Una de las cosas que ha sido poderosa de manera positiva acerca de los modelos es su capacidad para actuar por sí solos. Pero cuanta más autonomía les damos a estos sistemas, más podemos preocuparnos de si están haciendo exactamente las cosas que queremos que hagan”.
Logan Graham, líder del equipo de Anthropic para pruebas de estrés de modelos de IA, dijo a CBS que la otra cara de la moneda de la capacidad de un modelo para encontrar avances en la salud podría ser ayudar a construir un arma biológica.
“Si el modelo puede ayudar a fabricar un arma biológica, por ejemplo, a menudo son las mismas capacidades que el modelo podría utilizar para ayudar a fabricar vacunas y acelerar la terapia”, dijo.
Refiriéndose a los modelos autónomos, que se consideran una parte clave del caso de inversión en IA, Graham dijo que los usuarios quieren una herramienta de IA que ayude a su negocio, no que lo destruya.
“Quieres un modelo para construir tu negocio y ganar mil millones”, dijo. “Pero no quieres despertarte un día y descubrir que eso también te impidió unirte a la empresa, por ejemplo. Y nuestro enfoque básico es: deberíamos comenzar a medir estas capacidades autónomas y ejecutar tantos experimentos extraños como sea posible y ver qué sucede”.
