El potencial de cambio de juego de la tecnología de IA generativa ha llamado la atención de atacantes y defensores en el ámbito de la ciberseguridad. Aunque no está claro cómo evolucionará el panorama de las amenazas con el creciente número de herramientas de aprendizaje automático y grandes modelos lingüísticos, ya se han puesto de manifiesto algunas de las mejores prácticas de seguridad de la IA.

Qué es el pentesting

Está claro que el pentesting riguroso desempeñará un papel importante en la seguridad de nuestro futuro digital basado en la IA. (Pentesting es una abreviatura de ‘penetration testing’, que se traduce al español como “pruebas de penetración”. Es una práctica de seguridad informática en la que se simula un ataque cibernético contra un sistema, red, aplicación o infraestructura para evaluar su resistencia y descubrir vulnerabilidades. El objetivo principal del pentesting es identificar debilidades en la seguridad antes de que un atacante real las aproveche).

La Ley de Inteligencia Artificial de la Unión Europea, acordada a finales de 2023 ha supuesto un punto de inflexión en el que se ha intentado buscar el equilibrio entre la seguridad, el respeto a los valores europeos, el impulso de la innovación y el riesgo. También el gobierno del Reino Unido se ha unido al de EEUU y a varios socios internacionales para destacar cómo deben adoptarse los principios de “seguridad por diseño” para evitar las amenazas específicas de la IA.

“Para aprovechar plenamente las oportunidades de la IA, debe desarrollarse, implantarse y funcionar de forma segura y responsable”, afirman el Centro Nacional de Ciberseguridad (NCSC) del Reino Unido y la Agencia de Ciberseguridad y Seguridad de las Infraestructuras (CISA) de Estados Unidos en unas nuevas directrices para el desarrollo seguro de sistemas de IA publicadas recientemente. 

Qué hace el red teaming

Las directrices citan el “red teaming” como requisito previo para lanzar herramientas de IA de forma responsable. (red teaming es una práctica de seguridad informática en la que un equipo externo, conocido como el “equipo rojo” o “red team”, simula ser un adversario o hacker con el objetivo de evaluar la seguridad de un sistema, red o entidad). Si la tecnología de IA no se examina en busca de posibles fallos de seguridad, no debería hacerse pública, ya que podría causar estragos si los atacantes abusan de ella.

“A medida que la IA generativa se ramifica en nuevas direcciones y se adopta en ámbitos como la sanidad y la defensa, es demasiado lo que está en juego como para permitir que aparezcan grietas en sus cimientos” (Alex Novo)

“Cuando la puesta en peligro del sistema pueda provocar daños físicos o de reputación tangibles o generalizados, una pérdida significativa de las operaciones comerciales, la filtración de información sensible o confidencial y/o implicaciones legales, los riesgos de ciberseguridad de la IA deben tratarse como críticos”, advierten el NCSC, el CISA y organizaciones de otros 16 países. El documento conjunto insta a los proveedores de sistemas de IA a “proteger continuamente su modelo” para evitar que se produzcan fallos más adelante.

A medida que la IA generativa se ramifica en nuevas direcciones y se adopta en ámbitos como la sanidad y la defensa, es demasiado lo que está en juego como para permitir que aparezcan grietas en sus cimientos. Pero el trabajo no puede detenerse en un planteamiento de “seguridad por diseño”. Tampoco depende únicamente de las empresas tecnológicas que construyen los sistemas de IA más críticos.

Cualquier organización que despliegue tecnología de IA para ayudar a impulsar su misión debe hacer balance de sus prácticas de seguridad. ¿Está despejando el camino para que los investigadores de seguridad informen sobre vulnerabilidades? ¿Está preparada para tomar medidas para mitigar y remediar los problemas de forma rápida y adecuada? La seguridad de su despliegue de IA podría depender de ello.

Pentesting para sistemas de IA más seguros

Las directrices de seguridad de la IA se basan en una serie de medidas gubernamentales destinadas a abordar los nuevos retos cibernéticos específicos de la IA.

La primera Cumbre Mundial sobre Seguridad de la Inteligencia Artificial (IA), que tuvo lugar en noviembre en el histórico Bletchley Park, lugar donde Alan Turing descifró la máquina Enigma en la Segunda Guerra Mundial, dio como resultado una declaración firmada por 29 países en la que se presta especial atención a los problemas de ciberseguridad y se insta a “evaluar” determinados sistemas de alto riesgo en la frontera de la Inteligencia Artificial. La declaración se produjo poco después de que la Casa Blanca de EEUU promulgara una orden ejecutiva “radical” en materia de inteligencia artificial en la que se pedía realizar “pruebas exhaustivas de red team” de los sistemas de inteligencia artificial.

“Dado el rápido e incierto ritmo de cambio de la IA, y en el contexto de la aceleración de la inversión en tecnología, afirmamos que es especialmente urgente profundizar nuestra comprensión de estos riesgos potenciales y de las medidas para hacerles frente”, dice la Declaración de Bletchley.

Un programa de pruebas de seguridad eficaz

Un programa de pruebas de seguridad eficaz y consciente de la inteligencia artificial puede detectar muchos de estos riesgos potenciales y ayudar a los equipos a corregir las vulnerabilidades antes de que se conviertan en infracciones. En compañías como la nuestra, ya admitimos pruebas para la mayor parte de las 10 principales vulnerabilidades de seguridad de OWASP para grandes aplicaciones de modelos lingüísticos a través de la plataforma Synack. Y estamos integrando herramientas de IA de vanguardia para impulsar la eficiencia y mejorar los resultados de seguridad para nuestros clientes.

La IA tendrá un profundo impacto en el campo del pentesting. Pero por ahora, es esencial que los pentesters humanos, como los que forman parte del Red Team de Synack, compuesto por más de 1.500 investigadores de seguridad de élite, den a la tecnología de IA el apoyo que necesita para defenderse de los atacantes y seguir creciendo.