Docker vise à simplifier l’exécution de modèles d’IA locaux avec Model Runner.
Docker, principalement connu pour ses outils de logiciels de conteneurisation, se concentre désormais également sur l’IA générative. Avec Docker Model Runner, une nouvelle fonctionnalité de Docker Desktop 4.40, l’entreprise souhaite assister les développeurs dans la construction et l’exécution de modèles d’IA, localement sur leur propre matériel et au sein de flux de travail existants.
Exécution locale, contrôle accru
En raison de la possibilité d’exécuter les modèles localement, les développeurs bénéficient d’un contrôle accru, de meilleures performances, de coûts réduits et d’une confidentialité des données améliorée. Au lieu de configurations disparates, Docker propose une solution tout-en-un au sein de l’environnement de conteneurisation familier.
Pour les utilisateurs de Mac, l’accélération GPU est disponible via la puce graphique intégrée, permettant une inférence plus rapide que par le biais de machines virtuelles, par exemple. La prise en charge de l’accélération GPU pour Windows est prévue.
Les modèles sont empaquetés en tant qu’artefacts OCI pour pouvoir être gérés et distribués comme des conteneurs Docker ordinaires via Docker Hub ou un registre interne. Cela permet une intégration automatique dans les pipelines existants et l’utilisation d’outils familiers pour l’automatisation et le contrôle d’accès.
Partenariat et écosystème
Docker collabore avec Google, HuggingFace, Spring AI et VMware pour fournir un accès aux frameworks et modèles populaires. Cela permet aux développeurs de construire, tester et passer directement en production dans un seul environnement. Tout cela se déroule localement, sans dépendance au cloud.
lire aussi