Microsoft y OpenAI publican una investigación conjunta para desarticular usos maliciosos de la IA

En un esfuerzo conjunto con Microsoft Threat Intelligence, OpenAI ha logrado desarticular las actividades de cinco actores de amenazas afiliados a estados que buscaban explotar servicios de IA para actividades cibernéticas maliciosas.

El compromiso de OpenAI con la seguridad de la IA se refleja en su enfoque integral para monitorizar, detectar y mitigar los posibles riesgos asociados con el mal uso de su tecnología por parte de adversarios sofisticados.

Hemos cerrado cuentas asociadas con actores amenazantes afiliados a estados. Nuestros hallazgos indican que nuestros modelos ofrecen capacidades limitadas para tareas maliciosas de ciberseguridad. Construimos herramientas de IA que mejoran vidas y ayudan a resolver desafíos complejos, pero sabemos que a veces actores maliciosos intentarán abusar de nuestras herramientas para dañar a otros, incluso como parte de operaciones cibernéticas. Entre estos actores maliciosos, los grupos afiliados a estados, que pueden tener acceso a tecnología avanzada, recursos financieros significativos y personal capacitado, pueden representar riesgos únicos para el ecosistema digital y el bienestar humano.

Desarticulación de actores maliciosos

OpenAI identificó y desarticuló a cinco actores maliciosos afiliados a estados:

1. Charcoal Typhoon (China): utilizó los servicios de OpenAI para investigar empresas, depurar código, generar scripts y crear contenido para posibles campañas de phishing.
2. Salmon Typhoon (China): aprovechó OpenAI para traducir documentos técnicos, obtener información sobre agencias de inteligencia, ayudar con la codificación e investigar métodos para ocultar procesos en un sistema.
3. Crimson Sandstorm (Irán): empleó los servicios de OpenAI para soporte de scripting en desarrollo de aplicaciones y web, crear contenido para campañas de spear phishing e investigar formas comunes de evadir la detección de malware.
4. Emerald Sleet (Corea del Norte): utilizó los servicios de OpenAI para identificar expertos y organizaciones centradas en problemas de defensa en la región de Asia-Pacífico, entender vulnerabilidades, ayudar con tareas de scripting y redactar contenido para campañas de phishing.
5. Forest Blizzard (Rusia): participó principalmente en investigaciones de código abierto sobre protocolos de comunicación por satélite y tecnología de imágenes de radar, así como en tareas de scripting.

Capacidades limitadas para tareas maliciosas

Estos actores generalmente buscaban utilizar los servicios de OpenAI para consultar información de código abierto, traducir, encontrar errores de codificación y ejecutar tareas básicas de codificación.

Los hallazgos de OpenAI indican que sus modelos ofrecen capacidades limitadas e incrementales para tareas maliciosas de ciberseguridad, más allá de lo alcanzable con herramientas disponibles públicamente y no impulsadas por IA. Las actividades de los actores maliciosos identificados coinciden con evaluaciones anteriores del equipo de red team, reafirmando la naturaleza controlada de la tecnología de OpenAI.

La publicación en el blog de Microsoft proporciona detalles técnicos adicionales sobre la naturaleza y actividades de estos actores.

Enfoque integral para la seguridad de la IA

Para hacer frente a las amenazas en evolución, OpenAI adopta una estrategia integral que incluye:

1. Monitorización y Desarticulación: inversión en tecnología y equipos para identificar y desarticular las actividades de ciberatacantes afiliados a estados.
2. Colaboración: trabajo cercano con socios de la industria y partes interesadas para intercambiar información y promover respuestas colectivas a los riesgos relacionados con la IA.
3. Mitigaciones de Seguridad: iteración constante en las medidas de seguridad basada en el uso y mal uso, incorporando lecciones aprendidas del abuso de actores maliciosos en los sistemas de IA.
4. Transparencia Pública: OpenAI mantiene su compromiso de informar al público y a las partes interesadas sobre las actividades de actores amenazantes afiliados a estados dentro de sus sistemas y las medidas correspondientes tomadas.

OpenAI reconoce a la gran mayoría de usuarios que utilizan sus sistemas con propósitos positivos, enfatizando la innovación continua y la colaboración para minimizar posibles malos usos y mejorar la defensa colectiva contra adversarios en constante evolución.

Sin embargo, con el crecimiento acelerado y el uso generalizado de la inteligencia artificial y modelos de lenguaje extensos (LLMs), los usuarios se enfrentan a un aumento en los riesgos de seguridad, como estafas, extracción de datos, pérdida de información personal identificable (PII) e incluso la amenaza de ejecución remota de código. En una charla de Johann Rehberger destacaba técnicas de ataque emergentes, como Inyecciones de Indirect Prompt (una vulnerabilidad en el núcleo mismo de los agentes LLM), falsificación de solicitudes entre Plugins, extracción de datos, entre otras, y se pueden ver ejemplos concretos y exploits de plataformas como ChatGPT, Google Bard, Bing Chat y Anthropic Claude.

La misión de OpenAI es asegurar que la IA general beneficie a todo el mundo, lo que implica construir una IA general segura y que ayude a crear beneficios distribuidos de manera amplia. Pero la evolución de su misión ha llevado a OpenAI a revelar detalles sobre su relación con Elon Musk en el siguiente comunicado oficial reciente. La organización, inicialmente sin fines de lucro, se dio cuenta de que construir IA general requeriría más recursos de los imaginados. Elon propuso 1 mil millones de dólares de financiación, y OpenAI recaudó $45 millones de Elon y $90 millones de otros donantes. Diferencias en la visión llevaron a desacuerdos sobre la estructura, y Elon dejó la organización. OpenAI ahora se centra en avanzar en su misión de IA beneficiosa y ampliamente accesible. Estaremos atentos a su evolución.

Más información:

• https://openai.com/blog/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors
• https://www.microsoft.com/en-us/security/blog/2024/02/14/staying-ahead-of-threat-actors-in-the-age-of-ai/
• https://arxiv.org/pdf/2402.11753.pdf
• https://embracethered.com/blog/index.html
• https://www.youtube.com/watch?v=ADHAokjniE4
• https://openai.com/blog/openai-elon-musk

La entrada Microsoft y OpenAI publican una investigación conjunta para desarticular usos maliciosos de la IA se publicó primero en Una al Día.