Enoki lance une plateforme destinée à sécuriser les applications et les agents d’IA tout en prévenant les comportements indésirables. Pour ce faire, la start-up gantoise ne se contente pas d’examiner le code, mais soumet également le comportement des LLM à des attaques ciblées.
La start-up gantoise Enoki lance une plateforme de sécurité avec laquelle elle entend sécuriser les agents d’IA au sein des entreprises. L’accent n’est pas mis sur l’implémentation de l’IA via le code, mais sur le risque inhérent à ces systèmes non déterministes, une problématique que d’autres entreprises comme Veeam abordent également avec leurs solutions de détection et de récupération des risques liés à l’IA. Un agent d’IA basé sur un LLM peut en effet afficher un comportement inattendu, ce qu’Enoki souhaite éviter.
« Un agent d’IA peut, par une seule instruction habilement formulée, divulguer des données, abuser d’outils ou exécuter des actions qui ne sont programmées nulle part », explique Sander Noels, chercheur postdoctoral en IA et analyse de données à l’UGent et cofondateur d’Enoki. Enoki est dirigée par Audrey Stampaert, ancienne cofondatrice de la scale-up RH Mbrella, et Joachim Roelants, précédemment actif chez Fortino Capital, participe également à l’aventure.
Tests via des prompts
La plateforme d’Enoki se concentre sur le comportement d’un modèle de langage au sein d’une application d’IA. Le cœur de la plateforme est un agent hacker autonome doté d’IA qui teste chaque application. Enoki soumet les applications à des centaines d’attaques générées automatiquement, avec des scénarios tels que l’injection de prompts et les tentatives de vol de données. L’entreprise souhaite ainsi exposer des vulnérabilités qui ne se trouvent pas nécessairement dans le code source, mais dans la manière dont un modèle réagit aux instructions.
Selon Enoki, cela est particulièrement pertinent pour les agents d’IA connectés à des bases de données, du code ou des services externes. De tels systèmes peuvent en effet faire plus que simplement générer des réponses. Lorsqu’un agent exécute des actions au nom d’un utilisateur, une erreur ou une attaque peut également causer des dommages directs.
Trois modules
La plateforme se compose de trois modules. Le Pre-deployment testing permet de tester les applications d’IA avant leur mise en service. La Runtime protection surveille les applications en production et scanne les entrées et sorties pour détecter d’éventuelles vulnérabilités. Enfin, Compliance & inventory répertorie toutes les solutions d’IA au sein d’une organisation et associe les risques à des réglementations telles que l’EU AI Act, le NIST AI RMF et l’ISO 42001.
Enoki s’adresse aux entreprises B2B SaaS européennes et aux grandes entreprises qui construisent elles-mêmes des agents d’IA basés sur des LLM. Il s’agit notamment de bots de service client, d’assistants financiers, d’outils RH et d’assistants de code. La startup recrute actuellement ses premiers partenaires de conception et prépare une levée de fonds.
L’entreprise répond à un besoin actuel : l’IA est lancée et implémentée plus rapidement que la sécurité (et la sensibilisation) qui l’entoure ne progresse. Cela ne signifie pas que la start-up soit la seule à avoir identifié le problème de la sécurité des agents d’IA. Des spécialistes de la sécurité établis tentent également de jouer un rôle. Ainsi, Palo Alto Networks a racheté Portkey hier encore pour étendre son portefeuille en matière de sécurité de l’IA.