Red Hat acquiert Chatterbox Labs pour la sécurité de l’IA

Red Hat annonce l’acquisition de Chatterbox Labs et souhaite ainsi ajouter la sécurité de l’IA et des garde-fous au portefeuille d’IA de Red Hat.

Red Hat a annoncé l’acquisition de Chatterbox Labs, une entreprise axée sur la sécurité de l’IA agnostique aux modèles et les garde-fous pour l’IA générative. La technologie doit aider les organisations à mettre en production des modèles d’IA démontrablement plus sûrs et plus fiables dans des environnements de cloud hybride.

Sécurité de l’IA

Les organisations sont aujourd’hui confrontées au défi de déployer non seulement des modèles puissants, mais aussi fiables et sûrs. La fonctionnalité de sécurité et de garde-fou devient ainsi une condition de base pour les opérations d’apprentissage automatique modernes (MLOps).

Chatterbox Labs fournit des tests de sécurité et de sûreté de l’IA automatisés et personnalisés avec les statistiques de risque réelles dont les décideurs ont besoin pour approuver les applications d’IA pour la production. La technologie offre une approche agnostique aux modèles pour valider les données et les modèles via :

• AIMI for gen AI, qui fournit des mesures de risque quantitatives indépendantes pour les grands modèles linguistiques (LLM) ;
• AIMI for predictive AI, qui teste chaque architecture d’IA par rapport à des piliers importants tels que la robustesse, l’équité et l’explicabilité ;
• Des garde-fous qui identifient et atténuent les invites non sécurisées ou biaisées avant que les modèles ne soient mis en production.

IA agentique et MCP

Red Hat associe l’acquisition à la croissance de l’IA agentique et à la prise en charge du protocole de contexte de modèle (MCP). L’entreprise souligne que les agents d’IA deviennent plus autonomes et peuvent ainsi avoir plus d’impact sur les systèmes critiques. Selon Red Hat, Chatterbox Labs a mené des recherches sur la sécurité des agents, notamment la surveillance des réponses et la détection des actions sur les serveurs MCP déclenchées par les agents.

Red Hat souhaite combiner les garde-fous et les tests avec ses capacités MLOps. L’objectif est de donner aux organisations plus de contrôle sur les risques liés à l’IA lors des déploiements avec différents modèles, accélérateurs et environnements, sans dépendre d’un type de modèle spécifique.