Avec Olala mini 7A1B, OVHcloud lance le premier modèle de sa nouvelle famille de modèles de langage Olala. Le modèle est open source et tourne déjà chez le moteur de recherche Qwant.
OVHcloud annonce Olala, une famille de grands modèles de langage que l’entreprise entraîne elle-même en Europe. Olala mini 7A1B est le premier modèle. Le lancement officiel aura lieu le 19 novembre lors de l’OVHcloud AI Summit.
Le modèle utilise sept milliards de paramètres, dont un milliard est actif, répartis sur 256 experts par couche. Pour chaque requête, il n’active qu’une partie du modèle. Il est ainsi plus rapide et moins gourmand en mémoire.
Tourne sur du matériel modeste
Olala mini fonctionne sur un GPU de 8 Go de mémoire et atteint 160 tokens par seconde sur une Nvidia RTX A4500. Sans GPU, le modèle atteint 50 tokens par seconde sur un processeur classique. La fenêtre de contexte est pour l’instant de 32.000 tokens.
L’attention combine Differential-TPA et Mamba-3, au format BF16. OVHcloud publie le modèle sur Hugging Face sous licence Apache 2.0, avec les poids, le modèle de base pré-entraîné, un rapport technique et la documentation pour l’AI Act.
Qwant utilise déjà Olala mini pour sa fonction flash answer. Selon OVHcloud, le moteur de recherche répond ainsi vingt pour cent plus vite et les coûts de fonctionnement tombent à un tiers de ceux du modèle précédent.
Entraîné sur des supercalculateurs européens
OVHcloud a entraîné le modèle sur les supercalculateurs publics Jupiter, MeluXina et Jean Zay, avec des GPU GH200, A100 et H100. Ce soutien équivaut à 7 millions d’euros d’heures de calcul. De cette initiative est également né le Agentic Lab d’OVHcloud, OVHai LLM.
Octave Klaba, CEO d’OVHcloud, explique ce choix : « Nous ne pouvons pas continuer à compter sur la générosité de certains labos pour partager leurs modèles de langage en open source dans les années à venir. » Selon lui, le savoir-faire pour entraîner des modèles est largement disponible et le coût d’entraînement a été divisé par vingt en trois ans.
Versions 1.1 et 2.0
La version 1.1 doit sortir d’ici la fin de l’année, avec une fenêtre de contexte de 128.000 tokens et un meilleur raisonnement mathématique. La version 2.0 comptera plus de cent milliards de paramètres. OVHai LLM veut alors construire des modèles spécialisés pour des agents IA en entreprise, le DevOps cloud et la cybersécurité.
À terme, Olala doit aussi alimenter OVHai Workspace. Sa version chiffrée nécessite des modèles qui tournent localement sur le poste de travail. Le prix du modèle en cas d’utilisation via la plateforme d’OVHcloud n’a pas encore été communiqué par l’entreprise.
