AWS lance Trainium3 : des puces qui coûtent moins cher et peuvent exécuter des tâches plus complexes.
AWS a lancé sa nouvelle puce Trainium3 lors de re:Invent, intensifiant ainsi la concurrence avec Nvidia. Le géant technologique rend immédiatement disponibles ses UltraServers Trainium3, qui combinent jusqu’à 144 puces. Selon AWS, ils offrent 4,4 fois plus de puissance de calcul et près de quatre fois plus de bande passante mémoire que la génération précédente. Le PDG Matt Garman a qualifié les serveurs de « nos plus avancés à ce jour, avec 4,4 fois plus de puissance de calcul et 3,9 fois plus de bande passante mémoire ».
Plus de puissance, moins de coûts
AWS affirme que les tests révèlent jusqu’à 50 % d’économies par rapport à l’entraînement sur GPU. Des entreprises comme Anthropic sont les premières à pouvoir les utiliser. L’infrastructure derrière Trainium3 est mise à l’échelle via EC2 UltraClusters 3.0, qui connectent des milliers d’UltraServers entre eux. Selon Garman, cela permet des tâches « qui étaient tout simplement inexécutables auparavant », comme les modèles multimodaux sur des jeux de données de billions de tokens.
Trainium4 déjà en développement
Pendant ce temps, Nvidia reste leader du marché avec une part de 90 %, bien que les analystes prédisent que celle-ci diminuera dans les années à venir. AWS travaille déjà sur Trainium4, qui devrait offrir six fois plus de puissance de calcul et bénéficier du support pour NVLink Fusion de Nvidia. Garman a déclaré que les puces Trainium sont de plus en plus utilisées au sein d’AWS : « La majorité de l’inférence dans Amazon Bedrock fonctionne déjà sur Trainium ».