Red Hat añade capacidades críticas de seguridad en la IA con Chatterbox Labs

Red Hat, como proveedor de soluciones de código abierto, ha anunciado la adquisición de Chatterbox Labs, pionero en seguridad de modelos agnósticos de IA y mecanismos de protección para la IA generativa.

Esta adquisición añade capacidades críticas de «seguridad para la IA» al porfolio de Red Hat AI, reforzando los esfuerzos de la compañía para ofrecer una plataforma de IA empresarial completa y de código abierto diseñada para la nube híbrida.

El anuncio se enmarca en un año de rápida innovación para Red Hat AI, tras la introducción de Red Hat AI Inference Server y el lanzamiento de Red Hat AI 3. Clientes de todo el mundo y de todos los sectores están adoptando Red Hat AI para impulsar la innovación a través de aplicaciones de IA generativa, predictiva y agéntica.

A medida que las empresas pasan de la experimentación a la producción, se enfrentan a un desafío complejo: desplegar modelos que no solo sean potentes, sino también demostrables, fiables y seguros. Las capacidades de seguridad y mecanismos de protección son un requisito indispensable para las operaciones de aprendizaje automático (MLOps) modernas.

Este enfoque en la seguridad y la confianza refleja el compromiso de Red Hat e IBM de ayudar a los clientes a adoptar una mentalidad de seguridad como prioridad a medida que escalan la IA de manera responsable en entornos de nube híbrida. La integración de la tecnología de Chatterbox Labs crea una plataforma unificada donde la seguridad está integrada, reforzando la capacidad de Red Hat para habilitar cargas de trabajo de IA de producción con cualquier modelo, en cualquier acelerador, en cualquier lugar.

Según comenta Steven Huels, vicepresidente, AI Engineering and Product Strategy, Red Hat, “las empresas están llevando la IA del laboratorio a la producción a gran velocidad, lo que hace que sea más urgente los despliegues fiables, seguros y transparentes de IA. La innovadora tecnología de pruebas de seguridad y los mecanismos de protección para modelos agnósticos de Chatterbox Labs es la capa crítica de ‘seguridad para la IA’ que la industria necesita. Al integrar Chatterbox Labs en el porfolio de Red Hat AI, reforzamos nuestra promesa a los clientes de proporcionar una plataforma completa y de código abierto que no solo les permite ejecutar cualquier modelo, en cualquier lugar, sino hacerlo con la confianza de que la seguridad está integrada desde el principio. Esta adquisición ayudará a habilitar una IA verdaderamente responsable y de producción a escala».

Repercusiones imprevistas de la IA

Fundada en 2011, Chatterbox Labs aporta tecnología y experiencia críticas en seguridad y transparencia de la IA. Su experiencia en riesgo cuantitativo de IA ha sido elogiada por grupos de expertos independientes globales y responsables políticos, y esta adquisición aporta tecnología clave de aprendizaje automático a Red Hat.

Chatterbox Labs ofrece capacidades automatizadas y personalizadas de pruebas de seguridad y protección de IA, proporcionando las métricas de riesgo objetivas que los líderes empresariales necesitan para aprobar el despliegue de la IA en producción. La tecnología ofrece un enfoque robusto y agnóstico al modelo para validar datos y modelos a través de:

• AIMI para IA generativa: Proporciona métricas cuantitativas de riesgo independientes para grandes modelos de lenguaje (LLM).
• AIMI para IA predictiva: Valida cualquier arquitectura de IA en pilares clave, incluyendo robustez, equidad y explicabilidad.
• Mecanismos de protección: Identifica y corrige prompts inseguros, tóxicos o sesgados antes de poner los modelos en producción.

Nueva generación de cargas de trabajo de IA

Esta adquisición se alinea con la visión de Red Hat de dar soporte a diversos modelos y entornos de despliegue en la nube híbrida. También complementa las capacidades con visión de futuro introducidas en Red Hat AI 3, específicamente para la IA agéntica y el Protocolo de Contexto del Modelo (MCP).

A medida que las empresas adoptan la IA agéntica, los modelos fiables y seguros se vuelven aún más críticos, dado el papel complejo y autónomo de los agentes de IA y su impacto potencial en los sistemas empresariales centrales.

Chatterbox Labs ofrece capacidades automatizadas y personalizadas de pruebas de seguridad y protección de IA

“A medida que extienden los sistemas de IA en todos los aspectos de los negocios y la sociedad, no podemos permitir que la seguridad se convierta en una caja negra propietaria”, destaca, Stuart Battersby, Ph.D., co-founder and Chief Technology Officer, Chatterbox Labs. Por ello, “es fundamental que los mecanismos de protección de la IA no solo se desplieguen; deben ser rigurosamente probados y contar con soporte por métricas demostrables. Chatterbox Labs ha sido pionero en esta disciplina desde los primeros días de la IA predictiva hasta los sistemas agénticos del mañana. Al unirnos a Red Hat, podemos llevar estas métricas de seguridad validadas e independientes a la comunidad de código abierto. Esta transparencia permite a las empresas verificar la seguridad sin depender del proveedor, habilitando un futuro donde todos podamos beneficiarnos de una IA segura, escalable y abierta”, concluye el directivo.

Chatterbox Labs ha llevado a cabo un trabajo de investigación sobre seguridad agéntica holística, incluyendo la monitorización de las respuestas de los agentes y la detección de activadores de acciones del servidor MCP. Este trabajo se alinea con la hoja de ruta de Red Hat para el soporte de Llama Stack y MCP, posicionando a Red Hat para asegurar la próxima generación de cargas de trabajo inteligentes y automatizadas sobre una base de confianza y lista para empresas.

Al combinar las capacidades de MLOps de Red Hat con las capacidades de mecanismos de protección de Chatterbox Labs, Red Hat permitirá a las organizaciones operacionalizar sus inversiones en IA con mayor confianza.