Intelligence de données générative

LANL alimente le super Venado équipé du GH200 de Nvidia

Date :

Le Laboratoire national de Los Alamos (LANL) a activé son supercalculateur Venado, une machine capable d'apporter dix exaFLOPS de performances aux charges de travail d'IA du ministère de l'Énergie.

Annoncé lors de la conférence ISC sur le calcul haute performance en 2022, Venado est parmi les premiers supercalculateurs qui seront construits à l'aide de l'architecture Superchip de Nvidia. Mais avant d'être trop enthousiasmé par les performances revendiquées, rappelez-vous que la métrique exaFLOP s'applique uniquement aux charges de travail d'IA.

Aussi puissant que Cerf c'est vrai, Nvidia n'a pas détrôné l'exaFLOP 1.1 d'AMD Système de frontières – en fait, ce n'est même pas proche. Les performances en virgule flottante sont depuis longtemps la référence pour les supercalculateurs, comme en témoignent les 30 dernières années d'exécution du Top500 High Performance Linpack (HPL). Mais avec l’essor des systèmes adaptés à des précisions moindres et à des charges de travail d’IA moindres, la signification de cette métrique est devenue quelque peu floue.

Au lieu des performances en double précision répertoriées dans le classement Top500, les performances maximales en virgule flottante de nombreux systèmes conçus pour exécuter des charges de travail d’IA sont souvent données à une précision de moitié (FP16) – voire même d’un quart (FP8).

Venado a été évalué selon FP8.

Ce chiffre élevé de dix exaFLOP a donc été atteint lors d’une exécution dans des conditions qui échangent la précision contre un débit plus élevé et une bande passante mémoire inférieure. C'est parfait pour exécuter des modèles de langage volumineux (LLM) et d'autres tâches d'apprentissage automatique, mais ce n'est peut-être pas la meilleure option si vous essayez de simuler la criticité d'un ogive de plutonium.

Bien que Venado ne puisse pas tenir tête à Frontier dans les charges de travail FP64, ce n'est pas en reste. Grâce à la présence des GPU H100 de Nvidia fournissant l'essentiel de la puissance du système, la machine devrait être capable de produire environ 171 pétaFLOPs de performances maximales en double précision – suffisamment pour battre à peine le système classé numéro 10 dans le classement Top500 de novembre. Bien que nous notions que les performances réelles du HPL sont généralement un peu inférieures.

"Grâce à sa capacité à intégrer des approches d'intelligence artificielle, nous sommes impatients de voir comment le système Venado à Los Alamos peut fournir des résultats nouveaux et significatifs dans des domaines d'intérêt", a écrit David Turk, secrétaire adjoint du ministère de l'Énergie, dans un communiqué. déclaration.

Jusqu'à présent, LANL affirme que le système, qui a été livré le mois dernier, s'est déjà révélé prometteur pour la simulation de la science des matériaux et de l'astrophysique. Cela démontre que la machine fera sa juste part de simulations HPC et gérera des charges de travail d’IA de moindre précision.

Hébergé au centre de modélisation et de simulation Nicholas C Metropolis du LANL, Venado est un système relativement compact construit en collaboration avec Nvidia et HPE Cray, utilisant la plate-forme EX de ce dernier et les interconnexions Slingshot 11.

Le système entièrement refroidi par liquide comprend 3480 2,560 superpuces Nvidia, dont 200 920 modules CPU GHXNUMX et XNUMX Grace-Grace.

Comme nous l'avons discuté dans le passé, le GH200 était essentiellement un système sur module destiné aux charges de travail HPC et IA. Il dispose d'un processeur Grace à 72 cœurs basé sur les cœurs Neoverse V2 haut de gamme de Nvidia, de 480 Go de mémoire LPDDR5x et de 96 ou 144 Go de GPU H100 reliés entre eux par une interconnexion NVLink-C900C de 2 Go/s.

Les superchips Grace CPU de Nvidia remplacent le GPU par un deuxième CPU Grace, pour un total de 144 cœurs reliés par la même interconnexion NVLink-C2C. Ces cœurs sont alimentés par jusqu’à 960 Go de mémoire LPDDR5x capable de fournir jusqu’à 1 To/s de bande passante.

Selon LANL, ces superpuces CPU Grace devraient améliorer les performances d'un large éventail d'applications HPC, en particulier celles qui ne sont pas optimisées ou bien adaptées aux accélérateurs GPU.

Même si vous pensez peut-être qu'un système basé sur Arm pourrait signifier que les passionnés du HPC doivent se recycler rapidement - comme notre site frère La prochaine plateforme a précédemment discuté – la communauté des supercalculateurs travaille avec les systèmes Arm depuis un certain temps déjà, depuis les plates-formes ThunderX de Cavium et A64FX de Fujitsu.

Venado ne sera même pas le plus grand système Grace-Hopper que nous verrons cette année. Isambard-AI du gouvernement britannique sera alimenté par 5448 Nvidia GH200. Pendant ce temps, la partition GPU du système Jupiter d'EuroHPC sera un jeu près de 24,000 XNUMX Superchips Grace-Hopper. ®

spot_img

Dernières informations

spot_img