OMLASP “Open Machine Learning Security Project”

Cada vez más utilizamos diariamente todo tipo de tecnologías que se basan en modelos de Inteligencia Artificial. Las fábricas utilizan modelos de visión por ordenador para detectar personas en las proximidades de, por ejemplo, una cinta de ensamblaje. También las cámaras de seguridad reconocen patrones como acciones sospechosas o incluso armas. Y el caso más extremo, los datos médicos (como imágenes o datos de diagnósticos) también utilizan modelos de Machine Learning. 

Por este motivo y debido al tremendo impacto en la sociedad que tienen estas tecnologías, debemos de estar seguros que estos modelos no se han manipulado y sea posible cambiar la predicción o clasificación que obtenemos a la salida. Si te interesa la ciberseguridad y la Inteligencia Artificial, tenemos justamente un libro que habla de esto en la editorial 0xWord.

Figura 2: Libro de Machine Learning aplicado a Ciberseguridad de Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

En el equipo de Ideas Locas ya sabéis que todo lo que esté relacionado con la Ciberseguridad nos interesa. Por este motivo, hace un año empezamos a trabajar en OMLASP, Open Machine Learning Security Project, una colección de herramientas que implementa la teoría de los diferentes ataques y defensas que se pueden ejecutar contra los diferentes modelos de Machine Learning. Estas implementaciones en modo de herramientas nos permiten auditar nuestros propios modelos antes de ponerlos en producción y así detectar a tiempo sus vulnerabilidades.

  
OMLASP abarca como auditar de momento (es un proyecto que está en continua renovación) Árboles de decisión, ataques FGSM, Regresiones, Redes Neuronales y Ataques de Escalado (Scaling). Todos ellos con su respectiva herramienta, documentación y ejemplo de ejecución el cual podéis encontrar en su repositorio de GitHub que acabamos de publicar:

Hemos querido enfocar la herramienta desde nuestro punto de vista de la ciberseguridad, es decir, utilizar las mismas aproximaciones que realizamos de manera habitual dentro de, por ejemplo, un pentesting o una auditoría de ciberseguridad clásica. Y nada mejor para guiarnos que la magnífica matriz MITRE ATT&CK. De esta forma queremos ir poco a poco rellenando la información relativa a este tipo de ataques con nuestras diferentes implementaciones:

Figura 4: Primeros elementos de nuestra matriz OMLASP.

OMLASP “Open Machine Learning Security Project” se presentará oficialmente este próximo sábado día 22 de octubre en nuestra querida NoHat (Bérgamo, Italia), uno de nuestros eventos de seguridad favoritos. Allí estaremos Pablo González y yo mostrando sus funcionalidades y realizando alguna que otra demo. Ya estuvimos dando una charla en NoHat en plena pandemia, en 2020, donde hablamos de DeepFakes la cual podéis ver aquí:

Figura 5: DeepFakes en NoHat 2020
Además, tenemos el placer y el orgullo de comunicaros que estaremos de nuevo (y ya van seis contando OMLASP) en la BlackHat de Londres en su apartado Arsenal (formato en el cual se presentan diferentes herramientas en pequeñas franjas de tiempo) los días 7 y 8 de diciembre. Aquí tenéis un listado de todas las herramientas (y un enlace a su Github) que hemos presentado en diferentes ediciones de BlackHat Europe Arsenal:

2017 uac-a-mola

Más sobre OMLASP

Estad atentos/as porque publicaremos más adelante tanto por un lado nuestra experiencia en NoHat como más a nivel técnico detalles de OMLASP y su funcionamiento. Queremos agradecer enormemente el gran trabajo realizado por el equipo de Ideas Locas, sobre todo Marcos Rivera y Javier Del Pino, sin los cuales este proyecto no podría haberse llevado a cabo.