Kecerdasan Data Generatif

Dengan akuisisi Run:ai, Nvidia bertujuan untuk mengelola AI K8 Anda

Tanggal:

Nvidia pada hari Rabu mengumumkan akuisisi penyedia orkestrasi Kubernetes yang berpusat pada AI Run:ai dalam upaya membantu meningkatkan efisiensi cluster komputasi yang dibangun di atas GPU.

rincian dari kesepakatan tidak diungkapkan, tapi kabarnya kesepakatan itu bisa bernilai sekitar $700 juta. Startup yang berbasis di Tel Aviv memilikinya tampaknya mengumpulkan $118 juta dalam empat putaran pendanaan sejak didirikan pada tahun 2018.

Platform Run:ai menyediakan antarmuka pengguna pusat dan bidang kendali untuk bekerja dengan berbagai varian Kubernetes yang populer. Hal ini membuatnya sedikit mirip dengan OpenShift milik RedHat atau Rancher milik SUSE, dan memiliki banyak fitur yang sama untuk mengelola hal-hal seperti namespace, profil pengguna, dan alokasi sumber daya.

Perbedaan utamanya adalah Run:ai dirancang untuk berintegrasi dengan alat dan kerangka kerja AI pihak ketiga, dan menangani lingkungan container yang dipercepat GPU. Portofolio perangkat lunaknya mencakup elemen seperti penjadwalan beban kerja dan partisi akselerator, yang memungkinkan beberapa beban kerja tersebar di satu GPU.

Menurut Nvidia, platform Run:ai sudah mendukung platform komputasi DGX, termasuk konfigurasi Superpod, sistem manajemen cluster Base Command, pustaka container NGC, dan rangkaian AI Enterprise.

Sehubungan dengan AI, Kubernetes mengklaim sejumlah keunggulan dibandingkan penerapan bare metal, karena lingkungan dapat dikonfigurasi untuk menangani penskalaan di berbagai sumber daya, yang berpotensi terdistribusi secara geografis.

Untuk saat ini, pelanggan Run:ai tidak perlu khawatir jika Nvidia akan menerapkan perubahan besar pada platformnya. Di sebuah melepaskan, Nvidia mengatakan akan terus menawarkan produk Run:ai dengan model bisnis yang sama, dalam waktu dekat โ€” apa pun artinya.

Sementara itu, mereka yang berlangganan DGX Cloud Nvidia akan mendapatkan akses ke rangkaian fitur Run:ai untuk beban kerja AI mereka, termasuk penerapan model bahasa besar (LLM).

Pengumuman ini datang lebih dari sebulan setelah raksasa GPU tersebut meluncurkan platform kontainer baru untuk membangun model AI yang disebut Nvidia Inference Microservices (NIM).

NIMS pada dasarnya adalah gambar kontainer yang telah dikonfigurasi sebelumnya dan dioptimalkan yang berisi model, baik itu versi open source atau kepemilikan, dengan semua dependensi yang diperlukan untuk menjalankannya.

Seperti kebanyakan container, NIM dapat diterapkan di berbagai runtime termasuk node Kubernetes yang dipercepat CUDA.

Gagasan di balik mengubah LLM dan model AI lainnya menjadi layanan mikro adalah bahwa mereka dapat dihubungkan bersama dan digunakan untuk membangun model AI yang lebih kompleks dan kaya fitur daripada yang mungkin dilakukan tanpa melatih sendiri model khusus, atau setidaknya itulah yang dibayangkan Nvidia oleh orang-orang yang menggunakannya. mereka.

Dengan akuisisi Run:ai, Nvidia kini memiliki lapisan orkestrasi Kubernetes untuk mengelola penerapan NIM ini di seluruh infrastruktur GPU-nya. ยฎ

tempat_img

Intelijen Terbaru

tempat_img

Hubungi kami

Hai, yang di sana! Apa yang bisa saya bantu?