Generativna podatkovna inteligenca

S pridobitvijo Run:ai želi Nvidia upravljati vaše AI K8s

Datum:

Nvidia je v sredo objavila nakup ponudnika orkestracije Kubernetes Run:ai, osredotočenega na AI, da bi pomagala povečati učinkovitost računalniških gruč, zgrajenih na GPU.

Podrobnosti o dogovor niso bile razkrite, a domnevno posel bi lahko ocenili na približno 700 milijonov dolarjev. Startup s sedežem v Tel Avivu ima očitno je od ustanovitve leta 118 v štirih krogih financiranja zbralo 2018 milijonov dolarjev.

Platforma Run:ai ponuja osrednji uporabniški vmesnik in nadzorno ravnino za delo z različnimi priljubljenimi različicami Kubernetes. Zaradi tega je nekoliko podoben RedHatovemu OpenShiftu ali SUSEjevemu Rancherju in vsebuje veliko enakih orodij za upravljanje stvari, kot so imenski prostori, uporabniški profili in dodelitve virov.

Ključna razlika je v tem, da je Run:ai zasnovan za integracijo z orodji in ogrodji umetne inteligence tretjih oseb ter obravnava okolja vsebnikov, pospešenih GPU. Njegov portfelj programske opreme vključuje elemente, kot sta razporejanje delovnih obremenitev in particioniranje pospeševalnika, pri čemer slednji omogoča porazdelitev več delovnih obremenitev na en GPE.

Po navedbah Nvidie platforma Run:ai že podpira svoje računalniške platforme DGX, vključno s konfiguracijami Superpod, sistemom za upravljanje gruče Base Command, knjižnico vsebnikov NGC in zbirko AI Enterprise.

V zvezi z umetno inteligenco Kubernetes trdi, da ima številne prednosti pred golimi uvedbami, saj je okolje mogoče konfigurirati za obvladovanje skaliranja v več, potencialno geografsko porazdeljenih virih.

Za zdaj obstoječim strankam Run:ai ni treba skrbeti, da bo Nvidia uvedla večje spremembe platforme. V sprostitev, je Nvidia dejala, da bo še naprej ponujala izdelke Run:ai pod istim poslovnim modelom v bližnji prihodnosti - karkoli že to pomeni.

Medtem bodo tisti, ki so naročeni na Nvidijin DGX Cloud, dobili dostop do nabora funkcij Run:ai za svoje delovne obremenitve AI, vključno z uvedbami velikih jezikovnih modelov (LLM).

Objava prihaja le nekaj več kot mesec dni po velikanu GPU predstavil novo vsebniško platformo za izdelavo modelov AI, imenovano Nvidia Inference Microservices (NIM).

NIMS so v bistvu vnaprej konfigurirane in optimizirane slike vsebnika, ki vsebujejo model, ne glede na to, ali gre za odprtokodno ali lastniško različico, z vsemi odvisnostmi, potrebnimi za njegovo delovanje.

Tako kot večino vsebnikov je tudi NIM mogoče namestiti v različnih izvajalnih okoljih, vključno z vozlišči Kubernetes, ki jih pospešuje CUDA.

Zamisel za spreminjanje LLM-jev in drugih modelov umetne inteligence v mikrostoritve je, da jih je mogoče povezati v omrežje in uporabiti za gradnjo bolj zapletenih in s funkcijami bogatih modelov umetne inteligence, kot bi sicer bilo mogoče brez usposabljanja namenskega modela sami, ali vsaj tako si Nvidia predstavlja ljudi, ki uporabljajo njim.

S pridobitvijo Run:ai ima Nvidia zdaj orkestracijsko plast Kubernetes za upravljanje uvajanja teh NIM-jev v svoji GPU infrastrukturi. ®

spot_img

Najnovejša inteligenca

spot_img

Klepetajte z nami

Zdravo! Kako vam lahko pomagam?