Seguridad

Ciberseguridad e IA: Directrices globales para un desarrollo seguro

El Reino Unido y los Estados Unidos, en colaboración con socios internacionales de otros 16 países, han anunciado la publicación de pautas innovadoras destinadas al desarrollo de sistemas de inteligencia artificial (IA) seguros. Estas directrices buscan abordar los desafíos emergentes asociados con la ciberseguridad en el ámbito de la IA y garantizar que esta tecnología se diseñe, desarrolle y despliegue de manera segura.

Según la Agencia de Seguridad Cibernética e Infraestructura de los Estados Unidos (CISA), el enfoque adoptado en estas pautas coloca la responsabilidad de garantizar la seguridad en manos de los clientes. Este enfoque resalta la importancia de la transparencia radical, estableciendo estructuras organizativas donde el diseño seguro sea una prioridad fundamental.

El objetivo principal de estas directrices, según el Centro Nacional de Seguridad Cibernética (NCSC), es elevar los niveles de ciberseguridad en el ámbito de la IA. Esto implica garantizar que la tecnología se desarrolle de manera segura y que se implementen medidas efectivas para prevenir daños sociales, como el sesgo y la discriminación, así como abordar las preocupaciones de privacidad.

Un aspecto fundamental de las pautas es la incorporación de esfuerzos continuos del gobierno de los Estados Unidos para gestionar los riesgos asociados con la IA. Esto incluye la realización de pruebas exhaustivas de nuevas herramientas antes de su lanzamiento público, la implementación de salvaguardas para abordar daños a la sociedad y la privacidad, y el establecimiento de métodos sólidos para que los consumidores identifiquen contenido generado por IA.

Además, las empresas que adopten estas directrices se comprometerán a facilitar la detección y notificación de vulnerabilidades en sus sistemas de IA a través de un sistema de recompensa por errores. Este enfoque permite una identificación rápida y corrección efectiva de posibles debilidades.

El NCSC destaca que estas nuevas pautas son parte de un enfoque integral denominado «seguro por diseño», que abarca el diseño seguro, el desarrollo seguro, el despliegue seguro y la operación y mantenimiento seguros. Este enfoque se extiende a lo largo de todo el ciclo de vida del desarrollo de sistemas de IA, y las organizaciones se ven instadas a modelar las amenazas potenciales para sus sistemas, así como a salvaguardar sus cadenas de suministro e infraestructuras.

El Centro Nacional de Seguridad Cibernética (NCSC) destaca que estas directrices forman parte de un enfoque integral conocido como «seguro por diseño», que engloba el diseño, desarrollo, despliegue, operación y mantenimiento seguros de los sistemas de IA. Este enfoque abarca todo el ciclo de vida del desarrollo de la IA, instando a las organizaciones a modelar las amenazas potenciales, así como a proteger sus cadenas de suministro e infraestructuras.

Un aspecto crítico abordado por estas directrices es la necesidad de combatir los ataques adversarios dirigidos a sistemas de IA y aprendizaje automático. Estos ataques buscan provocar comportamientos no deseados, como afectar la clasificación de modelos, permitir acciones no autorizadas a usuarios y extraer información sensible. El NCSC destaca diversas formas de llevar a cabo estos ataques, como ataques de inyección rápida en el dominio de modelos de lenguaje grandes (LLM) o el conocido «envenenamiento de datos», que implica la corrupción deliberada de datos de entrenamiento o retroalimentación del usuario.

Más información:

La entrada Ciberseguridad e IA: Directrices globales para un desarrollo seguro se publicó primero en Una al Día.

Powered by WPeMatico

Gustavo Genez

Informático de corazón y apasionado por la tecnología. La misión de este blog es llegar a los usuarios y profesionales con información y trucos acerca de la Seguridad Informática.