Antrópico frustra el hacker intenta mal uso indebido de Claude Ai para el delito cibernético

Anthrope dijo el miércoles que había detectado y bloqueado a los piratas informáticos que intentaban mal uso de su sistema Claude AI Para escribir correos electrónicos de phishing, cree código malicioso y elude los filtros de seguridad.

Los hallazgos de la compañía, publicados en un informe, destacan las crecientes preocupaciones de que las herramientas de IA se explotan cada vez más en el delito cibernético, intensificando los llamados para que las empresas y reguladores tecnológicos fortalezcan las salvaguardas a medida que la tecnología se propaga.

El informe de Anthrope dijo que sus sistemas internos habían detenido los ataques y estaba compartiendo los estudios de caso, mostrando cómo los atacantes habían intentado usar Claude para producir contenido dañino, para ayudar a otros a comprender los riesgos.

El informe citó intentos de usar Claude para redactar correos electrónicos de phishing a medida, escribir o arreglar fragmentos de código malicioso y evitar salvaguardas a través de la solicitud repetida.

También describió los esfuerzos para guiar a las campañas al generar publicaciones persuasivas a escala y ayudar a los piratas informáticos de baja habilidad con instrucciones paso a paso.

La compañía, respaldada por Amazon.com y Alphabet, no publicó indicadores técnicos como IP o indicaciones, pero dijo que había prohibido las cuentas involucradas y endureció sus filtros después de detectar la actividad.

Los expertos dicen que los delincuentes recurren cada vez más a la IA para hacer que las estafas sean más convincentes y acelerar los intentos de piratería. Estas herramientas pueden ayudar a escribir mensajes de phishing realistas, automatizar partes del desarrollo de malware e incluso potencialmente ayudar a planificar ataques.

Los investigadores de seguridad advierten que a medida que los modelos de IA se vuelven más poderosos, el riesgo de mal uso crecerá a menos que las empresas y los gobiernos actúen rápidamente.

Anthrope dijo que sigue prácticas de seguridad estrictas, incluidas pruebas regulares y revisiones externas, y planea mantener informes de publicación cuando encuentra grandes amenazas.

Microsoft y OpenAi respaldados por SoftBank y Google han enfrentado un escrutinio similar por el temor a que sus modelos de IA puedan ser explotados para piratear o estafas, lo que provocó llamadas más fuertes.

Los gobiernos también se están moviendo para regular la tecnología, con la Unión Europea avanzando con su Ley de Inteligencia Artificial y los Estados Unidos presionando por compromisos de seguridad voluntarios de los principales desarrolladores.