À l’ère de l’intelligence artificielle avancée, entraîner des modèles plus intelligents et plus performants est essentiel pour faire progresser l’intelligence. Pour répondre à ces nouveaux défis, il faut des innovations révolutionnaires dans les GPU, CPU, cartes réseau, architectures système et une montagne de logiciels et d’algorithmes.
Lors des tests MLPerf Training v5.1 – la dernière série d’une longue suite de tests standardisés pour mesurer les performances d’entraînement de l’IA – NVIDIA a remporté tous les sept tests, offrant le temps d’entraînement le plus rapide pour les grands modèles de langage (LLM), la génération d’images, les systèmes de recommandation, la vision par ordinateur et les réseaux de neurones graphiques.
NVIDIA Blackwell Ultra fait sensation
Le système GB300 NVL72 à l’échelle rack, alimenté par l’architecture GPU NVIDIA Blackwell Ultra, a fait ses débuts dans MLPerf Training cette fois-ci, après un record établi lors du dernier tour MLPerf Inference.
Comparé à l’architecture Hopper de génération précédente, le GB300 NVL72 basé sur Blackwell Ultra a offert plus de 4 fois les performances de pré-entraînement Llama 3.1 405B et près de 5 fois les performances de fine-tuning Llama 2 70B LoRA en utilisant le même nombre de GPU.
Ces gains sont alimentés par les améliorations architecturales de Blackwell Ultra – incluant de nouveaux Tensor Cores qui offrent 15 petaflops de calcul IA NVFP4, deux fois plus de calcul de couche d’attention et 279 GB de mémoire HBM3e – ainsi que de nouvelles méthodes d’entraînement qui exploitent l’énorme performance de calcul NVFP4 de l’architecture.
Performance débloquée : NVFP4 accélère l’entraînement des LLM
La clé des résultats exceptionnels de cette série était d’effectuer des calculs en utilisant la précision NVFP4 – une première dans l’histoire de MLPerf Training.
Une façon d’augmenter les performances de calcul est de construire une architecture capable d’effectuer des calculs sur des données représentées avec moins de bits, puis d’effectuer ces calculs à un rythme plus rapide. Cependant, une précision moindre signifie que moins d’informations sont disponibles dans chaque calcul.
Les équipes NVIDIA ont innové à tous les niveaux de la pile pour adopter la précision FP4 pour l’entraînement des LLM. Le GPU NVIDIA Blackwell peut effectuer des calculs FP4 – incluant le format NVFP4 conçu par NVIDIA ainsi que d’autres variantes FP4 – au double du taux de FP8. Blackwell Ultra porte cela à 3x, permettant aux GPU d’offrir des performances de calcul IA substantiellement supérieures.
NVIDIA est la seule plateforme à ce jour qui a soumis des résultats MLPerf Training avec des calculs effectués en utilisant la précision FP4 tout en respectant les exigences strictes de précision du benchmark.
NVIDIA Blackwell atteint de nouveaux sommets
NVIDIA a établi un nouveau record de temps d’entraînement Llama 3.1 405B de seulement 10 minutes, alimenté par plus de 5 000 GPU Blackwell travaillant ensemble efficacement. Cette entrée était 2,7 fois plus rapide que le meilleur résultat basé sur Blackwell soumis lors de la série précédente.
Nouveaux benchmarks, nouveaux records
NVIDIA a également établi des records de performance sur les deux nouveaux benchmarks ajoutés cette fois-ci : Llama 3.1 8B et FLUX.1.
Llama 3.1 8B – un LLM compact mais très capable – a remplacé le modèle BERT-large de longue date, ajoutant un LLM moderne et plus petit à la suite de benchmarks. NVIDIA a soumis des résultats avec jusqu’à 512 GPU Blackwell Ultra, fixant la barre à 5,2 minutes d’entraînement.
De plus, FLUX.1 – un modèle de génération d’images de pointe – a remplacé Stable Diffusion v2, avec seulement la plateforme NVIDIA soumettant des résultats sur le benchmark. NVIDIA a soumis des résultats utilisant 1 152 GPU Blackwell, établissant un temps d’entraînement record de 12,5 minutes.
Un écosystème de partenaires large et profond
L’écosystème NVIDIA a participé massivement cette fois-ci, avec des soumissions convaincantes de 15 organisations incluant ASUSTeK, Dell Technologies, Giga Computing, Hewlett Packard Enterprise, Krai, Lambda, Lenovo, Nebius, Quanta Cloud Technology, Supermicro, University of Florida, Verda et Wiwynn.
NVIDIA innove selon un rythme annuel, générant des augmentations de performance significatives et rapides à travers le pré-entraînement, le post-entraînement et l’inférence – ouvrant la voie à de nouveaux niveaux d’intelligence et accélérant l’adoption de l’IA.
Source de cette information : NVIDIA Newsroom
