Generativ dataintelligens

Med Run:ai-förvärv siktar Nvidia på att hantera dina AI K8:or

Datum:

Nvidia tillkännagav på onsdagen förvärvet av den AI-centrerade Kubernetes-orkestreringsleverantören Run:ai i ett försök att hjälpa till att stärka effektiviteten hos datorkluster byggda på GPU.

Detaljerna om överenskommelsen avslöjades inte, men enligt uppgift affären kan värderas till cirka 700 miljoner dollar. Den Tel Aviv-baserade startupen har uppenbarligen samlat in 118 miljoner dollar i fyra finansieringsomgångar sedan det grundades 2018.

Run:ai:s plattform tillhandahåller ett centralt användargränssnitt och kontrollplan för att arbeta med en mängd populära Kubernetes-varianter. Detta gör det lite som RedHats OpenShift eller SUSEs Rancher, och det har många av samma verktyg för att hantera saker som namnrymder, användarprofiler och resurstilldelningar.

Den viktigaste skillnaden är att Run:ai är designad för att integreras med tredjeparts AI-verktyg och ramverk och hantera GPU-accelererade containermiljöer. Dess mjukvaruportfölj innehåller element som schemaläggning av arbetsbelastning och acceleratorpartitionering, varav den senare tillåter flera arbetsbelastningar att spridas över en enda GPU.

Enligt Nvidia stöder Run:ai:s plattform redan dess DGX-beräkningsplattformar, inklusive dess Superpod-konfigurationer, Base Command-klusterhanteringssystemet, NGC-containerbibliotek och en AI Enterprise-svit.

När det gäller AI hävdar Kubernetes ett antal fördelar jämfört med bare metal-distributioner, eftersom miljön kan konfigureras för att hantera skalning över flera, potentiellt geografiskt fördelade, resurser.

För närvarande behöver befintliga Run:ai-kunder inte oroa sig för att Nvidia ska införa stora förändringar av plattformen. I en frigöra, Nvidia sa att de skulle fortsätta att erbjuda Run:ai:s produkter under samma affärsmodell, för den omedelbara framtiden - vad det än kan betyda.

Samtidigt kommer de som prenumererar på Nvidias DGX Cloud att få tillgång till Run:ai:s funktionsuppsättning för deras AI-arbetsbelastningar, inklusive implementeringar av stora språkmodeller (LLM).

Beskedet kommer drygt en månad efter GPU-jätten avtäckt en ny containerplattform för att bygga AI-modeller som heter Nvidia Inference Microservices (NIM).

NIMS är i huvudsak förkonfigurerade och optimerade behållarbilder som innehåller modellen, oavsett om det är öppen källkod eller proprietär version, med alla de beroenden som krävs för att få den att köras.

Som de flesta behållare kan NIM:er distribueras över en mängd olika körtider inklusive CUDA-accelererade Kubernetes-noder.

Tanken bakom att förvandla LLM:er och andra AI-modeller till mikrotjänster är att de kan kopplas samman i nätverk och användas för att bygga mer komplexa och funktionsrika AI-modeller än vad som annars skulle vara möjligt utan att träna en dedikerad modell själv, eller åtminstone är det så Nvidia tänker sig folk som använder dem.

Med förvärvet av Run:ai har Nvidia nu ett Kubernetes-orkestreringslager för att hantera distributionen av dessa NIM över sin GPU-infrastruktur. ®

plats_img

Senaste intelligens

plats_img

Chatta med oss

Hallå där! Hur kan jag hjälpa dig?