Lors de la conférence Cloud Next, Google présente ses nouveaux produits d’infrastructure d’IA, dont les TPU 8t & 8i.
Google annonce lors de Cloud Next une série de nouveaux produits d’infrastructure d’IA, dont la huitième génération de TPU. Avec deux puces spécialisées, de nouvelles instances de GPU et des solutions de stockage améliorées, l’entreprise souhaite préparer ses clients pour l’ère des agents d’IA.
Google a présenté l’extension de sa plateforme AI Hypercomputer, qui constitue la base de ses propres modèles Gemini. Les annonces incluent de nouvelles puces, des technologies de réseau et des outils d’orchestration spécifiquement conçus pour les charges de travail complexes d’IA agentique.
Deux nouvelles puces TPU pour l’entraînement et l’inférence
Pour la première fois, Google sort deux puces distinctes au sein d’une même génération de TPU. Le TPU 8t est axé sur l’entraînement et offre une puissance de calcul près de trois fois supérieure à celle de la génération précédente. Dans un seul superpod, l’entreprise regroupe 9 600 puces, ce qui représente 121 exaflops de puissance de calcul et deux pétaoctets de mémoire partagée.
Le TPU 8i se concentre sur l’inférence et l’apprentissage par renforcement. En triplant la SRAM sur puce pour atteindre 384 Mo et en augmentant la mémoire à 288 Go, la puce réduit la latence jusqu’à cinq fois. Selon Google, le TPU 8i offre un rapport qualité-prix pour l’inférence supérieur de quatre-vingts pour cent à celui de la génération précédente.
Nvidia, stockage et orchestration
Outre ses propres puces, Google annonce également des instances A5X, alimentées par la plateforme Nvidia Vera Rubin NVL72. Via le réseau Virgo, Google peut connecter jusqu’à 134 000 TPU dans un seul centre de données, et plus d’un million de TPU sur plusieurs sites.
Pour le stockage, Google introduit Cloud Managed Lustre avec une bande passante de dix téraoctets par seconde, soit une multiplication par dix par rapport à l’année dernière. Google Kubernetes Engine bénéficie également d’améliorations permettant aux nœuds de démarrer jusqu’à quatre fois plus vite et aux modèles de se charger cinq fois plus rapidement.
Perspectives
Les TPU 8t et TPU 8i seront bientôt disponibles pour les clients cloud. Google positionne l’ensemble de la pile AI Hypercomputer comme le fondement de ses services Gemini Enterprise et de la plateforme Gemini Enterprise Agent.