DeepSeek a lancé une nouvelle génération de modèles d’IA open source avec V4-Pro et V4-Flash.
DeepSeek introduit une nouvelle génération de modèles d’IA open source, avec des gains d’efficacité remarquables et une échelle allant jusqu’à 1,6 billion de paramètres. La nouvelle gamme V4 se veut une alternative plus performante et plus économe aux modèles de pointe existants.
Deux modèles, une architecture
La famille V4 se compose de deux modèles : V4-Pro et V4-Flash. Tous deux utilisent une architecture « mixture-of-experts » (MoE), où plusieurs réseaux neuronaux collaborent au lieu d’un seul grand modèle. V4-Pro est le fleuron avec 1,6 billion de paramètres, mais n’en active qu’une partie par tâche. V4-Flash est plus petit et plus efficace, avec moins de paramètres actifs et des exigences matérielles moindres, mais aussi une qualité de sortie légèrement inférieure.
L’innovation la plus marquante réside dans l’« attention hybride ». Cette technique réduit le cache KV, une représentation interne que les modèles utilisent pour traiter le contexte. Selon DeepSeek, la consommation de mémoire pendant l’inférence chute d’environ 90 % par rapport à la génération précédente.
Concurrence avec les modèles de pointe
Dans les benchmarks, V4-Pro se montre compétitif face à d’autres modèles de premier plan, notamment Claude Opus 4.6. Dans plusieurs tests, le modèle obtient même de meilleurs scores, bien que les résultats soient mitigés selon le benchmark.
Entraînement plus rapide, meilleurs résultats
Le processus d’entraînement a également été revu. Grâce à des techniques telles que le mHC, les données peuvent circuler directement entre des couches non adjacentes, ce qui réduit les erreurs et améliore la qualité des résultats. De plus, le module Muon optimise les couches internes du modèle, ce qui accélère l’entraînement et nécessite moins d’infrastructures.
DeepSeek a entraîné les modèles sur un ensemble de données d’environ 27 billions de tokens et les a ensuite affinés en deux étapes pour améliorer la collaboration entre les différents réseaux neuronaux. Les modèles sont disponibles en version préliminaire sur Hugging Face.