Meta prépare la formation de la prochaine génération du modèle Llama. Il faut donc décupler la puissance de calcul de l’entreprise.
Llama 3.1 est tout juste lancé, mais Meta pense déjà à la prochaine génération de Llama 4. Zuckerberg l’a annoncé dans les résultats trimestriels que l’entreprise a rendus publics hier soir. Il semble que Meta prévoie de grands projets pour son prochain modèle d’IA, car selon Zuckerberg, « une infrastructure informatique décuplée » sera nécessaire pour faire grandir le Llama 4. Llama 3.1 a été entraîné sur plus de seize mille GPU Nvidia.
« On ne sait pas comment cela évoluera dans les générations à venir. Mais pour l’instant, je préfère courir le risque de renforcer les capacités avant qu’elles ne soient nécessaires plutôt que trop tard, compte tenu des longs délais nécessaires au lancement de nouveaux projets d’inférence », explique Zuckerberg.
Investir d’abord, profiter ensuite
Cette évolution coûtera évidemment cher à Meta. Au cours du dernier trimestre, Meta a dépensé 8,5 milliards de dollars en dépenses d’investissement, soit 33 % de plus qu’il y a un an. En un an, Meta a dépensé près de 40 milliards de dollars. Il est difficile de vérifier quelle proportion de ces dépenses est directement liée au modèle LLama 3.1.
Zuckerberg prévient déjà ses investisseurs que les dépenses vont encore augmenter vers 2025. On n’attend des revenus qu’après ce moment-là. Meta, contrairement à OpenAI, Google et Anthropic, propose ses modèles en open source et ne génère donc pas de revenus directs par l’octroi de licences. Toutefois, l’entreprise s’attend à ce que l’IA élargisse le champ des pubs à long terme.
Meta est la troisième superpuissance du secteur de l’IA à annoncer ses chiffres financiers au cours de la semaine dernière. Chez Google et Microsoft, nous avons observé une tendance similaire. Elles doivent d’abord investir massivement dans les modèles et l’infrastructure de l’IA avant de générer des bénéfices. Pas de problème pour Meta, Microsoft et Google de consacrer un milliard ici et là.