Inteligencia de datos generativa

Con la adquisición de Run:ai, Nvidia pretende gestionar sus AI K8

Fecha:

Nvidia anunció el miércoles la adquisición del proveedor de orquestación de Kubernetes centrado en IA Run:ai en un esfuerzo por ayudar a reforzar la eficiencia de los clústeres informáticos construidos en GPU.

Los detalles de el trato no fueron revelados, pero según se informa el acuerdo podría valorarse en aproximadamente 700 millones de dólares. La startup con sede en Tel Aviv tiene aparentemente recaudó 118 millones de dólares en cuatro rondas de financiación desde su fundación en 2018.

La plataforma Run:ai proporciona una interfaz de usuario central y un plano de control para trabajar con una variedad de variantes populares de Kubernetes. Esto lo hace un poco como OpenShift de RedHat o Rancher de SUSE, y presenta muchas de las mismas herramientas para administrar cosas como espacios de nombres, perfiles de usuario y asignaciones de recursos.

La diferencia clave es que Run:ai está diseñado para integrarse con marcos y herramientas de inteligencia artificial de terceros y lidiar con entornos de contenedores acelerados por GPU. Su cartera de software incluye elementos como la programación de cargas de trabajo y la partición del acelerador, el último de los cuales permite distribuir múltiples cargas de trabajo en una sola GPU.

Según Nvidia, la plataforma Run:ai ya es compatible con sus plataformas informáticas DGX, incluidas sus configuraciones Superpod, el sistema de gestión de clústeres Base Command, la biblioteca de contenedores NGC y una suite AI Enterprise.

Con respecto a la IA, Kubernetes afirma una serie de ventajas sobre las implementaciones básicas, ya que el entorno se puede configurar para manejar el escalamiento a través de múltiples recursos potencialmente distribuidos geográficamente.

Por ahora, los clientes existentes de Run:ai no deben preocuparse de que Nvidia imponga cambios importantes a la plataforma. en un ,, Nvidia dijo que continuaría ofreciendo los productos Run:ai bajo el mismo modelo de negocio, en el futuro inmediato, sea lo que sea que eso signifique.

Mientras tanto, aquellos suscritos a DGX Cloud de Nvidia tendrán acceso al conjunto de funciones de Run:ai para sus cargas de trabajo de IA, incluidas implementaciones de modelos de lenguaje grandes (LLM).

El anuncio llega poco más de un mes después de que el gigante de las GPU dio a conocer una nueva plataforma de contenedores para construir modelos de IA llamada Nvidia Inference Microservices (NIM).

Los NIMS son esencialmente imágenes de contenedores preconfiguradas y optimizadas que contienen el modelo, ya sea la versión de código abierto o propietaria, con todas las dependencias necesarias para ponerlo en funcionamiento.

Como la mayoría de los contenedores, los NIM se pueden implementar en una variedad de tiempos de ejecución, incluidos nodos de Kubernetes acelerados por CUDA.

La idea detrás de convertir los LLM y otros modelos de IA en microservicios es que pueden conectarse en red y usarse para construir modelos de IA más complejos y ricos en funciones de lo que sería posible sin entrenar un modelo dedicado usted mismo, o al menos así es como Nvidia imagina a la gente usando a ellos.

Con la adquisición de Run:ai, Nvidia ahora tiene una capa de orquestación de Kubernetes para gestionar la implementación de estos NIM en su infraestructura de GPU. ®

punto_img

Información más reciente

punto_img

Habla con nosotros!

¡Hola! ¿Le puedo ayudar en algo?