TOKYO, 24 aprile 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) ha ampliato i propri servizi di IA generativa “NEC cotomi” con lo sviluppo di “NEC cotomi Pro” e “NEC cotomi Light”, due nuovi modelli AI Large Language Models (LLM) generativi ad alta velocità con funzionalità aggiornate dati e architetture di training.

Con il rapido sviluppo dell’intelligenza artificiale generativa negli ultimi anni, un’ampia gamma di organizzazioni ha preso in considerazione e verificato la trasformazione aziendale utilizzando i LLM. Man mano che emergono scenari applicativi specifici, è necessario fornire modelli e formati che soddisfino le esigenze dei clienti in termini di tempi di risposta, coordinamento dei dati aziendali, protezione delle informazioni e altri aspetti di sicurezza durante l'implementazione e il funzionamento.

I nuovi modelli NEC cotomi Pro e NEC cotomi Light di NEC sono modelli ad alta velocità e ad alte prestazioni che offrono le stesse prestazioni elevate degli LLM globali, ma a una velocità più che dieci volte superiore.

Generalmente, per migliorare le prestazioni di un LLM, è necessario ingrandire il modello, ma questo rallenta la velocità operativa. Tuttavia, NEC è riuscita a migliorare sia la velocità che le prestazioni con lo sviluppo di un nuovo metodo e di un'architettura di formazione avanzati.

"NEC cotomi Pro" raggiunge prestazioni paragonabili a modelli globali di alto livello come "GPT-4" e "Claude 2", con un tempo di risposta che è circa l'87% più veloce rispetto a GPT-4 utilizzando un'infrastruttura di due unità di elaborazione grafica ( GPU). Inoltre, il più veloce “NEC cotomi Light” ha lo stesso livello di prestazioni dei modelli globali come “GPT-3.5-Turbo”, ma può elaborare un gran numero di richieste ad alta velocità con un’infrastruttura di circa 1 o 2 GPU , fornendo prestazioni sufficienti per molte attività.

Nello specifico, in un sistema interno di recupero documenti che utilizza una tecnica chiamata RAG, il sistema ha ottenuto un tasso di risposta corretta superiore a GPT-3.5 senza regolazione fine e un tasso di risposta corretta superiore a GPT-4 dopo la regolazione fine, con una risposta tempo che è circa il 93% più veloce.

Caratteristiche di NEC cotomi Pro e NEC cotomi Light1. Elevata produttività per varie attività

Sia “NEC cotomi Pro” che “NEC cotomi Light” hanno elevati livelli di potenza di elaborazione che sono ai massimi livelli a livello globale in termini di conoscenza e capacità di gestire varie attività, come il riepilogo dei documenti, il ragionamento logico e la risposta alle domande.

Confronti tra i benchmark "ELYZA Tasks 100" (primi 2 grafici) e "Japanese MT-Bench" (grafico in basso)

Nello specifico, NEC ha confermato prestazioni di alto livello, non solo in Giappone ma anche a livello globale, in due benchmark comunemente utilizzati per misurare le prestazioni LLM complessive: “ELYZA Tasks 100” e “Japanese MT-Bench”. NEC cotomi Pro ha fornito risultati più di cinque volte più veloci di GPT-4 (*) su un server standard con due GPU. Inoltre, ha superato la velocità di modelli come “Gemini 1.0 Pro” e ha mostrato prestazioni paragonabili a Claude 2 e GPT-4. Allo stesso tempo, “NEC cotomi Light” ha fornito risultati più di 15 volte più veloci di GPT-4, surclassando modelli di grandi dimensioni come “LLaMA2-70B” e dimostrando prestazioni paragonabili a GPT-3.5-Turbo.

2. Alta velocità

Oltre alle elevate prestazioni durante l'inferenza, per l'applicazione pratica di LLM è importante anche il tempo (velocità) tra l'invio di una richiesta e la ricezione di una risposta. NEC cotomi Pro e NEC cotomi Light hanno raggiunto un'elaborazione ad alta velocità che è dall'87% al 93% più veloce rispetto a GPT-4 con due GPU standard. Ciò è stato ottenuto grazie a innovazioni architetturali che hanno migliorato sia le prestazioni che la velocità, nonché un ampio dizionario giapponese (per la tokenizzazione) nel modello. Queste innovazioni non solo aumentano la velocità di inferenza, ma aumentano anche il numero di accessi simultanei e riducono il tempo di formazione richiesto per la messa a punto. Inoltre, è possibile apportare ulteriori miglioramenti alla velocità aumentando il numero di GPU a 4 o 8, consentendo una costruzione flessibile per soddisfare le esigenze di ciascuna applicazione.

Utilizzando un modello che raggiunge un'elevata potenza di elaborazione con alta velocità e accesso di massa, è possibile ridurre significativamente i tempi di risposta delle applicazioni aziendali che utilizzano l'intelligenza artificiale generativa e migliorare l'esperienza dell'utente. Inoltre, l'elevata potenza di elaborazione può migliorare significativamente le prestazioni dopo la messa a punto dei dati individuali per ciascuna azienda. In futuro, NEC continuerà a rafforzare la cooperazione con i partner e a fornire servizi IA sicuri, protetti e affidabili basati sulla gamma ampliata di cotomi NEC, con l’obiettivo di aiutare i clienti a risolvere un’ampia gamma di sfide complesse.

(*)L'esperimento ha fornito una precisione di calcolo a 16 bit in un ambiente GPU dotato di due L40sShare

Informazioni su NEC Corporation

NEC Corporation si è affermata come leader nell'integrazione di tecnologie IT e di rete, promuovendo al contempo l'affermazione del marchio "Orchestrare un mondo più luminoso". NEC consente alle aziende e alle comunità di adattarsi ai rapidi cambiamenti in atto sia nella società che nel mercato in quanto fornisce i valori sociali di sicurezza, protezione, equità ed efficienza per promuovere un mondo più sostenibile in cui tutti hanno la possibilità di raggiungere il loro pieno potenziale. Per ulteriori informazioni, visitare NEC all'indirizzo https://www.nec.com.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://www.jcnnewswire.com/pressrelease/90452/3/