Generatiivinen tiedustelu

LANL käynnistää Nvidian GH200-pakatun Venado superin

Treffi:

Los Alamos National Laboratory (LANL) on kääntänyt kytkimen Venado-supertietokoneeseensa – koneeseen, joka pystyy tuomaan kymmenen exaFLOPS suorituskykyä energiaministeriön tekoälyn työtaakkaan.

ISC:n korkean suorituskyvyn laskennan konferenssissa vuonna 2022 julkistettu Venado on ensimmäisten joukossa supertietokoneita, jotka rakennetaan Nvidian Superchip-arkkitehtuurilla. Mutta ennen kuin innostut liikaa väitetystä suorituskyvystä, muista, että exaFLOP-mittari koskee vain tekoälyn työkuormia.

Yhtä voimakas kuin Peura Nvidia ei ole syrjäyttänyt AMD:n 1.1 exaFLOPia Rajajärjestelmä – itse asiassa se ei ole edes lähellä. Liukulukkusuorituskyky on pitkään ollut supertietokoneiden mittapuu, kuten Top30 High Performance Linpack (HPL) -ajon aikana on nähty viimeisten 500 vuoden aikana. Mutta alhaisempaan tarkkuuteen ja tekoälyn työkuormiin räätälöityjen järjestelmien lisääntyessä metriikan merkitys on muuttunut hieman mutaiseksi.

Top500-listan kaksinkertaisen tarkkuuden sijaan monien tekoälyn työkuormien suorittamiseen suunniteltujen järjestelmien liukulukujen huippusuorituskyky annetaan usein puolella (FP16) tai jopa neljänneksellä (FP8).

Venado arvioitiin FP8:lla.

Tämä ylevä kymmenen exaFLOP-luku saavutettiin siis, kun ajettiin olosuhteissa, joissa tarkkuus vaihdetaan korkeampaan suorituskykyyn ja pienempään muistin kaistanleveyteen. Se on täydellinen suurten kielimallien (LLM) ja muiden koneoppimistehtävien suorittamiseen, mutta ei ehkä paras vaihtoehto, jos yrität simuloida plutonium-kärki.

Vaikka Venado ei voi pitää kynttilää Frontierille FP64-työkuormissa, se ei ole laiska. Nvidian H100-grafiikkasuorittimien ansiosta, jotka tarjoavat suurimman osan järjestelmän tehosta, koneen pitäisi pystyä tuottamaan noin 171 petaFLOP:n huippusuorituskykyä kaksinkertaisella tarkkuudella – riittää tuskin päihittääkseen 10. sijan marraskuun Top500-listalla. Vaikka huomaamme, että todellinen suorituskyky HPL:ssä on yleensä hieman alhaisempi.

"Odotamme innolla, kuinka Los Alamosin Venado-järjestelmä pystyy tarjoamaan uusia ja mielekkäitä tuloksia kiinnostavilla aloilla, koska se pystyy sisällyttämään tekoälyn lähestymistapoja", kirjoitti energiaministeriön apulaissihteeri David Turk. selvitys.

Toistaiseksi LANL sanoo, että järjestelmä, joka toimitettiin viime kuussa, on jo osoittanut lupaavia materiaalitieteen ja astrofysiikan simulaatioita. Tämä osoittaa, että kone tekee kohtuullisen osuutensa HPC-simulaatioista ja käsittelee pienemmän tarkkuuden tekoälyn työkuormia.

LANL:n Nicholas C Metropolis Center for Modeling and Simulation -keskuksessa sijaitseva Venado on suhteellisen kompakti järjestelmä, joka on rakennettu yhteistyössä Nvidian ja HPE Crayn kanssa käyttämällä jälkimmäisen EX-alustaa ja Slingshot 11 -liitäntöjä.

Täysin nestejäähdytteinen järjestelmä sisältää 3480 Nvidia Superchipiä – mukaan lukien 2,560 GH200- ja 920 Grace-Grace-suoritinmoduulia.

Kuten olemme keskusteltiin Aiemmin GH200 oli pohjimmiltaan järjestelmäkohtainen moduuli, joka on tarkoitettu HPC- ja AI-työkuormille. Siinä on 72-ytiminen Grace-suoritin, joka perustuu Nvidian huippuluokan Neoverse V2 -ytimiin, 480 Gt LPDDR5x-muistia ja 96 tai 144 Gt:n H100-grafiikkasuorittimet yhdistettynä 900 Gt/s NVLink-C2C-liitäntään.

Nvidian Grace CPU Superchips vaihtaa grafiikkasuorittimen toiseen Grace-suorittimeen, jolloin yhteensä 144 ydintä on yhdistetty samalla NVLink-C2C-liitännällä. Näitä ytimiä syöttää jopa 960 Gt LPDDR5x-muistia, joka pystyy toimittamaan jopa 1 Tt/s kaistanleveyttä.

LANL:n mukaan näiden Grace CPU -supersirujen pitäisi parantaa suorituskykyä monille HPC-sovelluksille, erityisesti sellaisille, joita ei ole optimoitu tai jotka eivät sovellu GPU-kiihdyttimille.

Vaikka saatat ajatella, että käsivarsipohjainen järjestelmä saattaa tarkoittaa, että HPC:n on taidettava uudelleen kiireessä – kuten sisarussivustomme Seuraava alusta on aiemmin keskusteltiin – supertietokoneyhteisö on työskennellyt Arm-järjestelmien kanssa jo jonkin aikaa, aina Caviumin ThunderX- ja Fujitsun A64FX-alustoilta.

Venado ei ole edes suurin Grace-Hopper-järjestelmä, jonka näemme tänä vuonna. Yhdistyneen kuningaskunnan hallituksen Isambard-AI tulee olemaan powered 5448 Nvidia GH200s. Samaan aikaan EuroHPC:n Jupiter Systemin GPU-osio tulee pakata lähes 24,000 XNUMX Grace-Hopper Superchippiä. ®

spot_img

Uusin älykkyys

spot_img