Anthropic explica cómo sus modelos de IA se usan para hacer Armas Biológicas, Enjambres de Drones Militares o Cohetes Dirigidos por Móvil

Cuando salió el informe de Anthropic de Misuse IA este 10 de Septiembre, donde detallan los casos en los que explican cómo los «malos» usan sus modelos de IA para hacer cosas no permitidas, y cómo luchan contra ellos, mis amigos decían que era de flipar. Yo, que sigo esto con regularidad, dije que me solía sorprender poco, porque suelo imaginarme qué van a hacer después los malos. Pues bien, en este caso me sorprendió, por la vorágine y por la de cosas peligrosas que cualquiera está intentando construir.

El informe, lo puedes descargar de la web de Antrhopic, y prepárate a leer, porque son más de 150 páginas con uno tras otro, operaciones cada cual más interesante y sorprendente. Aquí lo tienes para que hagas clic y listo.

En el documento, la primera parte habla de los «Generative Threat Groups» o GTG, que son las grupos que usan Generative AI para hacer sus operaciones, así que veréis que los reportes comienzan todos por GTG y el número que le han asociado a ese «bad actor«.  Pueden ser organizaciones criminales, Nation State, activistas, o empresas de Crimeware. 

La primera parte del informe habla de los Ciberataques más «tradicionales» donde los atacantes están usando los modelos de IA para hacer operaciones de ataques informáticos, donde se hace footprinting, fingerprinting, exploiting, creación de malware, exfiltración de datos, movimientos laterales, y un largo etcétera, que Antrhopic catalogó en su LLM Att&ack Navigator. 

Tienes muchos, pero lo mejor es ver cómo los utilizan en estos gráficos explicativos que dejan claro la intensidad de uso de los modelos de IA en todo tipo de ciberataques de todo tipo. El mundo del pentester sin IA ya no existe, tampoco el del cibercriminal sin IA. No os dejo muchos, pero tienes una maravilla para estudiar. Cada uno merece una investigación completa en un artículo, preentación o seminario. Brutal.

Me ha llamado la atención la parte de Desinformación, donde han utilizado IA para hacer lo que presenté en la RootedCON 2024 «NewsBender: Desinformación Política con GenAI«. En aquel entonces leímos las noticias de Agencias de Noticias que venían blancas, y con Agentes IA de re-escritura le dábamos tinte «ideológico» de un partido u otro. Pues eso están haciendo ya masivamente. 

Y lo mismo que hacíamos nosotros, donde amplificábamos las noticias fabricadas con bots que usaban GenAI para generar el debate y hacer Trending Topic un tema en Twitter/X (aprovechando los tokens OAuth), lo hacen hoy en día los malos.

Recordad que con esto, hicimos en «real time» en el programa de Horizonte de Iker Jiménez y Carmen Porter a Tistimito Trendic Topic. Pues los malos lo usan masivamente como ya veíamos que iba a suceder en aquel momento. Ojo con lo que te crees de las redes sociales y medios interesados.

Otro de los usos que también hemos visto ha sido el de la vigilancia masiva de usuarios en redes sociales, como vimos en el trabajo de investigación meses atrás donde hablábamos de deanonimización usando LLMs. Lo tienes en el articulo titulado: «Cómo identificar perfiles anónimos de una plataforma online en Internet usando LLMs y Agentes IA«.

Y los usos son brutales. Por un lado hacer doxing y localizar personas, pero por otro hacer catalogación de grupos de personas, para al final lograr encontrar a los individuos vulnerables sobre los que aplicar presión o intentar activar a conveniencia.

Pero de todo esto, cuando llegamos a la parte final del informe es cuando ya entramos en la más impactante del documento.

Además de usarla para descubrir información sobre personal militar, están los que utilizan los modelos para construir armas convencionales, armas avanzadas asistidas por IA e incluso armas biológicas. Agárrate que vienen curvas.

En este ejemplo el GTG estaba creando un software de control de cohetes utilizando teléfonos móviles de fácil acceso. En el siguiente gráfico tienes las fases que estaban construyendo para tener este sistema funcionando.

También, como no, enjambres de drones para realizar ataques militares, y poder lanzar ataques coordinados con explosiones, o localización de personas como objetivos de estos drones asistidos con Inteligencia Artificial.

Otro ejemplo que me ha llamado poderosamente la atención. Un GTG construyendo un arma de energía-dirigida, supongo que al estilo de los blasters de las películas de ciencia ficción que tantas veces hemos visto. No sé. Veo todo muy loco.

La última que he querido añadir aquí, tiene que ver con el uso de la IA para querer construir armas biológicas – supongo que tipo COVID – para atacar a las personas. Una auténtica locura.

Lo peor de todo esto es que estos nuevos modelos de IA saben hacer todas estas cosas, y si en su decisión los consideran una herramienta – como pasó con OpenAI GPT-5.6 SOL que decidió hackear Hugging-Face – qué va a impedirles que lo hagan. Mucho peor, estamos entrando en la fase de la AGI done la IA se está empezando a mejorar a sí misma… ¿quién la va a controlar si algo falla? 

Yo hago, en plan de broma con mis amigos las demos de Hacking IA hago un «Jailbreak» para desalinear a los modelos y que me ayude a matar a una persona diciéndole que es un juego de role, pero… lo peor es que sabe cómo matar personas. El objetivo de esta demo es demostrar que todas estas vulnerabilidades, es decir, BIAS, Hallucinations, Jailbreak, Prompt Injection, Data Leakages, Data Poisoning, Desalineamiento, son por diseño, y hay que poner capas extras de seguridad. 

Figura 18: Geoffrey Hinton, ganador Premio Novel de Física en 2024

De esto alertaba ya, Geoffrey Hinton en su discurso a la hora de recoger su Premio Novel, y por desgracia, no tenemos soluciones hoy en día para evitar el desalineamiento total del modelo, así que no hay garantías de que por una mala configuración de sus tareas el modelo tome una decisión que la humanidad no quiere, o bien porque alguien malo controle una de estos modelos, podamos tener un auténtico problema a nivel de civilización.

¡Saludos Malignos!