Los agentes de IA suspenden en transparencia y seguridad
Investigadores del MIT y otras instituciones colaboradoras han publicado un informe donde analizan los 30 sistemas basados en agentes de IA más comunes. Las conclusiones del estudio («El índice de IA de 2025: documentación de las características sociotécnicas de los sistemas de IA agénticos implementados») son generalmente (hay distintos niveles) preocupantes y hablan de una IA «fuera de control» y una «pesadilla de seguridad».
La tecnología agentica se está incorporando de lleno a la corriente principal de la inteligencia artificial y el anuncio la pasada semana de la contratación por OpenAI de Peter Steinberg, el creador del marco de software de código abierto OpenClaw, refuerza la apuesta por esta funcionalidad considerada como ‘estrella’ dentro de la propia revolución que supone la inteligencia artificial.
El software OpenClaw atrajo atención no sólo por permitir capacidades salvajes (agentes que pueden, por ejemplo, enviar y recibir correo electrónico en el nombre del usuario), sino también por sus dramáticas fallos de seguridad, incluida la capacidad de secuestrar completamente las computadoras personales.
Dada la fascinación que generan los agentes y lo poco que aún se sabe sobre sus ventajas y desventajas, es importante que investigadores prestigiosos hayan analizado su funcionamiento. Y no hay buenas noticias, al menos desde el apartado de la seguridad, ya que aseguran que se trata de tecnología marcada por la falta de divulgación, la falta de transparencia y una sorprendente ausencia de protocolos básicos sobre cómo deberían operar los agentes.
Falta de transparencia en los agentes de IA
La mayor revelación del informe es la dificultad para identificar todos los problemas que podrían surgir con los agentes de IA. Esto se debe principalmente a la falta de transparencia por parte de los desarrolladores. «Identificamos limitaciones persistentes en los informes sobre características ecosistémicas y relacionadas con la seguridad de los sistemas agenticos», escribió Leon Staufer, el autor principal de un estudio en el que han trabajado investigadores del MIT, la Universidad de Cambridge, la Universidad de Washington, la Universidad de Harvard, la Universidad de Stanford, la Universidad de Pensilvania y la Universidad Hebrea de Jerusalén.
En ocho categorías diferentes de divulgación, los autores señalaron que la mayoría de los sistemas de agentes no ofrecen información alguna para la mayoría de las categorías. Las omisiones abarcan desde la falta de divulgación sobre posibles riesgos hasta la falta de divulgación sobre las pruebas realizadas por terceros, si las hubiera.
Asumir responsabilidades
Lo que el informe no examina son los incidentes en la práctica, casos en los que la tecnología agéntica produjo un comportamiento inesperado o no deseado que tuvo resultados indeseables. Esto significa que aún desconocemos el impacto total de las deficiencias identificadas por los autores. Pero hay algo claro: la IA agéntica es producto de equipos de desarrollo que toman decisiones específicas. Estos agentes son herramientas creadas y distribuidas por humanos.
Por lo tanto, la responsabilidad de documentar el software, auditar los programas en busca de problemas de seguridad y proporcionar medidas de control recae directamente en los proveedores, en OpenAI, Anthropic, Google, Microsoft, Perplexity y otras organizaciones. Depende de ellas tomar las medidas necesarias para subsanar las graves deficiencias identificadas o, de lo contrario, enfrentarse a regulaciones en el futuro y también a la pérdida de confianza por incumplir las promesas, quizá excesivamente optimistas, de los agentes de IA.
La entrada Los agentes de IA suspenden en transparencia y seguridad es original de MuySeguridad. Seguridad informática.
Powered by WPeMatico
