Meta, le géant technologique de Mark Zuckerberg, mobilise une puissance de calcul inédite pour entraîner la prochaine version de son modèle d’IA open source, Llama-4.
Une consommation de GPU jamais vue
Meta a déployé une infrastructure colossale composée de plus de 100 000 GPU Nvidia H100, un niveau de puissance de calcul jamais atteint pour un modèle de langage. Selon Mark Zuckerberg, cette installation est sans précédent, surpassant largement les autres configurations existantes et illustrant l’engagement de Meta à repousser les limites technologiques. Ce cluster exceptionnel, conçu pour supporter l’entraînement de Llama-4, pourrait bientôt être rejoint par d’autres configurations massives dans l’industrie, à l’image du projet de Musk qui envisage jusqu’à 200 000 GPU pour son entreprise xAI.
De nouvelles fonctionnalités pour Llama-4
Llama-4, en cours de développement chez Meta, devrait apporter des avancées notables en termes de vitesse, de raisonnement et de fonctionnalités multimodales. Bien que Zuckerberg n’ait pas détaillé précisément les capacités de Llama-4, des indices laissent penser que le modèle sera bien plus performant, avec une capacité accrue à gérer différents types de données et à exécuter des tâches de manière plus rapide et plus intuitive. Contrairement aux modèles fermés de ses rivaux, Meta s’engage à maintenir Llama en open source, facilitant l’accès pour les chercheurs et développeurs. Cependant, des restrictions demeurent sur l’utilisation commerciale du modèle, garantissant une certaine protection de ses applications.
Un record qui fait polémique
Si le déploiement massif de ressources de Meta suscite une certaine admiration dans le monde technologique les besoins énergétiques, estimés à 370 GWh par an, cette infrastructure soulève néanmoins la question de l’empreinte écologique de ces technologies émergentes.
Une telle consommation énergétique, suffisante pour alimenter des millions de foyers, interpelle alors que l’industrie s’engage à réduire son empreinte carbone. Meta reste discrète sur ses moyens d’alimentation, contrairement à Microsoft et Google qui investissent dans des réacteurs nucléaires modulaires pour assurer un approvisionnement énergétique durable.
Cette course aux GPU pourrait ainsi devenir une source de tensions, posant un dilemme entre innovation pour l’intelligence artificielle et impact environnemental, alors même que certains leaders de la technologie proposent d’utiliser ces innovations pour répondre aux défis climatiques.
Si cet article vous a plu et si vous envisagez une carrière dans la Data Science ou tout simplement une montée en compétences dans votre domaine, n’hésitez pas à découvrir nos offres de formations ou nos articles de blog sur DataScientest.
Source : ai.meta.com
