TOKIO, 24 de abril de 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) ha ampliado sus servicios de IA generativa “NEC cotomi” con el desarrollo de “NEC cotomi Pro” y “NEC cotomi Light”, dos nuevos modelos de lenguaje grande (LLM) de IA generativa de alta velocidad que presentan actualizaciones Datos y arquitecturas de entrenamiento.

Con el rápido desarrollo de la IA generativa en los últimos años, una amplia gama de organizaciones ha estado considerando y verificando la transformación empresarial mediante LLM. A medida que surgen escenarios de aplicación específicos, existe la necesidad de proporcionar modelos y formatos que satisfagan las necesidades del cliente en términos de tiempo de respuesta, coordinación de datos comerciales, protección de la información y otros aspectos de seguridad durante la implementación y operación.

Los recientemente desarrollados NEC cotomi Pro y NEC cotomi Light de NEC son modelos de alta velocidad y alto rendimiento que ofrecen el mismo alto rendimiento que los LLM globales, pero a más de diez veces la velocidad.

Generalmente, para mejorar el rendimiento de un LLM, es necesario hacer un modelo más grande, pero esto ralentiza la velocidad de operación. Sin embargo, NEC ha logrado mejorar tanto la velocidad como el rendimiento con el desarrollo de una arquitectura y un método de entrenamiento nuevos y avanzados.

“NEC cotomi Pro” logra un rendimiento comparable al de modelos globales de alto nivel como “GPT-4” y “Claude 2”, con un tiempo de respuesta aproximadamente un 87% más rápido que el GPT-4 utilizando una infraestructura de dos unidades de procesamiento de gráficos ( GPU). Además, el aún más rápido “NEC cotomi Light” tiene el mismo nivel de rendimiento que modelos globales como “GPT-3.5-Turbo”, pero puede procesar una gran cantidad de solicitudes a alta velocidad con una infraestructura de aproximadamente 1 a 2 GPU. , proporcionando un rendimiento suficiente para muchas tareas.

Específicamente, en un sistema interno de recuperación de documentos que utiliza una técnica llamada RAG, el sistema logró una tasa de respuesta correcta superior a GPT-3.5 sin ajuste fino y una tasa de respuesta correcta superior a GPT-4 después de ajuste fino, con una respuesta tiempo que es aproximadamente un 93% más rápido.

Características de NEC cotomi Pro y NEC cotomi Light1. Alto rendimiento para diversas tareas

Tanto “NEC cotomi Pro” como “NEC cotomi Light” tienen altos niveles de potencia de procesamiento que se encuentran en el nivel más alto a nivel mundial en términos de conocimiento y capacidad para manejar diversas tareas, como resúmenes de documentos, razonamiento lógico y respuesta a preguntas.

Comparaciones comparativas de “ELYZA Tasks 100” (2 gráficos superiores) y “Japanese MT-Bench” (gráfico inferior)

Específicamente, NEC confirmó un desempeño de alto nivel, no solo en Japón sino también a nivel mundial, en dos puntos de referencia comúnmente utilizados para medir el desempeño general de LLM: “ELYZA Tasks 100” y “Japanese MT-Bench”. NEC cotomi Pro proporcionó resultados más de cinco veces más rápidos que GPT-4 (*) en un servidor estándar con dos GPU. Además, superó la velocidad de modelos como “Gemini 1.0 Pro” y mostró un rendimiento comparable al Claude 2 y GPT-4. Al mismo tiempo, “NEC cotomi Light” proporcionó resultados más de 15 veces más rápidos que GPT-4, superando a modelos grandes como “LLaMA2-70B” y demostrando un rendimiento comparable al GPT-3.5-Turbo.

2. Alta velocidad

Además del alto rendimiento durante la inferencia, el tiempo (velocidad) entre el envío de una solicitud y la recepción de una respuesta también es importante para la aplicación práctica de LLM. NEC cotomi Pro y NEC cotomi Light han logrado un procesamiento de alta velocidad que es entre un 87% y un 93% más rápido que GPT-4 con dos GPU estándar. Esto se ha logrado gracias a innovaciones arquitectónicas que han mejorado tanto el rendimiento como la velocidad, así como a un gran diccionario japonés (para tokenización) en el modelo. Estas innovaciones no solo aumentan la velocidad de inferencia, sino que también aumentan el número de accesos simultáneos y reducen el tiempo de entrenamiento necesario para el ajuste. Además, se pueden realizar mejoras de velocidad adicionales aumentando el número de GPU a 4 u 8, lo que permite una construcción flexible para satisfacer las necesidades de cada aplicación.

Al utilizar un modelo que logra una alta potencia de procesamiento con alta velocidad y acceso masivo, es posible acortar significativamente el tiempo de respuesta de las aplicaciones comerciales que utilizan IA generativa y mejorar la experiencia del usuario. Además, la alta potencia de procesamiento puede mejorar significativamente el rendimiento después de ajustar los datos individuales de cada empresa. En el futuro, NEC continuará fortaleciendo la cooperación con sus socios y brindará servicios de IA seguros y confiables basados ​​en la línea ampliada de cotomi de NEC, con el objetivo de ayudar a los clientes a resolver una amplia gama de desafíos complejos.

(*)El experimento proporcionó precisión de cálculo de 16 bits en un entorno de GPU equipado con dos L40sShare

Acerca de NEC Corporation

NEC Corporation se ha establecido como líder en la integración de tecnologías de red y TI al tiempo que promueve la declaración de marca de "Orquestar un mundo más brillante". NEC permite que las empresas y las comunidades se adapten a los rápidos cambios que tienen lugar tanto en la sociedad como en el mercado, ya que establece los valores sociales de seguridad, equidad y eficiencia para promover un mundo más sostenible donde todos tienen la oportunidad de alcanzar su máximo potencial. Para obtener más información, visite NEC en https://www.nec.com.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.jcnnewswire.com/pressrelease/90452/3/