Intelligence de données générative

Avec l'acquisition de Run:ai, Nvidia vise à gérer vos AI K8

Date :

Nvidia a annoncé mercredi l'acquisition de Run:ai, fournisseur d'orchestration Kubernetes centré sur l'IA, dans le but de contribuer à renforcer l'efficacité des clusters informatiques construits sur GPU.

Les détails de l'accord n'ont pas été divulgués, mais apparemment l'accord pourrait être évalué à environ 700 millions de dollars. La startup basée à Tel Aviv a Apparemment a levé 118 millions de dollars au cours de quatre cycles de financement depuis sa création en 2018.

La plate-forme Run:ai fournit une interface utilisateur centrale et un plan de contrôle pour travailler avec une variété de variantes populaires de Kubernetes. Cela le rend un peu comme OpenShift de RedHat ou Rancher de SUSE, et il propose bon nombre des mêmes outils pour gérer des éléments tels que les espaces de noms, les profils d'utilisateurs et les allocations de ressources.

La principale différence est que Run:ai est conçu pour s'intégrer à des outils et frameworks d'IA tiers et gérer des environnements de conteneurs accélérés par GPU. Son portefeuille de logiciels comprend des éléments tels que la planification des charges de travail et le partitionnement par accélérateur, ce dernier permettant de répartir plusieurs charges de travail sur un seul GPU.

Selon Nvidia, la plate-forme Run:ai prend déjà en charge ses plates-formes de calcul DGX, y compris ses configurations Superpod, le système de gestion de cluster Base Command, la bibliothèque de conteneurs NGC et une suite AI Enterprise.

En ce qui concerne l'IA, Kubernetes revendique un certain nombre d'avantages par rapport aux déploiements nus, car l'environnement peut être configuré pour gérer la mise à l'échelle sur plusieurs ressources, potentiellement géographiquement réparties.

Pour l'instant, les clients Run:ai existants n'ont pas à s'inquiéter du fait que Nvidia impose des changements majeurs à la plate-forme. Dans un libérer, Nvidia a déclaré qu'elle continuerait à proposer les produits Run:ai selon le même modèle commercial, dans un avenir immédiat – quoi que cela puisse signifier.

Pendant ce temps, les abonnés au DGX Cloud de Nvidia auront accès à l'ensemble des fonctionnalités de Run:ai pour leurs charges de travail d'IA, y compris les déploiements de modèles de langage étendus (LLM).

L'annonce intervient un peu plus d'un mois après le géant du GPU dévoilé une nouvelle plate-forme de conteneurs pour créer des modèles d'IA appelée Nvidia Inference Microservices (NIM).

Les NIMS sont essentiellement des images de conteneurs préconfigurées et optimisées contenant le modèle, qu'il s'agisse de la version open source ou propriétaire, avec toutes les dépendances nécessaires à son fonctionnement.

Comme la plupart des conteneurs, les NIM peuvent être déployés sur divers environnements d'exécution, y compris les nœuds Kubernetes accélérés par CUDA.

L'idée derrière la transformation des LLM et autres modèles d'IA en microservices est qu'ils peuvent être mis en réseau ensemble et utilisés pour créer des modèles d'IA plus complexes et riches en fonctionnalités qu'il ne serait autrement possible sans former vous-même un modèle dédié, ou du moins c'est ainsi que Nvidia envisage les gens utilisant eux.

Avec l'acquisition de Run:ai, Nvidia dispose désormais d'une couche d'orchestration Kubernetes pour gérer le déploiement de ces NIM sur son infrastructure GPU. ®

spot_img

Dernières informations

spot_img

Discutez avec nous

Salut! Comment puis-je t'aider?