TOKYO, 24. aprill 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) on laiendanud oma „NEC cotomi” generatiivseid tehisintellekti teenuseid „NEC cotomi Pro” ja „NEC cotomi Light” väljatöötamisega, mis on kaks uut kiiret generatiivset AI Large Language mudelit (LLM), millel on värskendatud koolitusandmed ja arhitektuurid.
Seoses generatiivse AI kiire arenguga viimastel aastatel on suur hulk organisatsioone kaalunud ja kontrollinud ettevõtte ümberkujundamist LLM-ide abil. Spetsiifiliste rakendusstsenaariumide ilmnemisel on vaja pakkuda mudeleid ja vorminguid, mis vastavad klientide vajadustele reageerimisaja, äriandmete koordineerimise, teabekaitse ja muude turbeaspektide osas juurutamise ja toimimise ajal.
NECi äsja väljatöötatud NEC cotomi Pro ja NEC cotomi Light on kiire ja suure jõudlusega mudelid, mis pakuvad sama suure jõudlusega kui ülemaailmsed LLM-id, kuid enam kui kümnekordse kiirusega.
Üldiselt tuleb LLM-i jõudluse parandamiseks mudelit suuremaks muuta, kuid see aeglustab töökiirust. NEC-l on aga õnnestunud täiustatud uue treeningmeetodi ja arhitektuuri väljatöötamisega parandada nii kiirust kui ka jõudlust.
"NEC cotomi Pro" saavutab jõudluse, mis on võrreldav tipptasemel ülemaailmsete mudelitega, nagu "GPT-4" ja "Claude 2", reageerimisajaga, mis on ligikaudu 87% kiirem kui GPT-4, kasutades kahest graafikaprotsessorist koosnevat infrastruktuuri ( GPU). Lisaks on veelgi kiiremal "NEC cotomi Lightil" sama jõudlus kui globaalsetel mudelitel, nagu "GPT-3.5-Turbo", kuid suudab töödelda suurel hulgal taotlusi suurel kiirusel umbes 1–2 GPU-ga infrastruktuuriga. , mis tagab paljude ülesannete jaoks piisava jõudluse.
Täpsemalt, ettevõttesiseses dokumendiotsingusüsteemis, milles kasutati tehnikat nimega RAG, saavutas süsteem õige reageerimissageduse, mis oli kõrgem kui GPT-3.5 ilma peenhäälestuseta ja õige reageerimissageduse, mis oli kõrgem kui GPT-4 pärast peenhäälestamist koos vastusega aega, mis on ligikaudu 93% kiirem.
NEC cotomi Pro ja NEC cotomi Light1 omadused. Suur läbilaskevõime erinevate ülesannete jaoks
Nii "NEC cotomi Pro" kui ka "NEC cotomi Light" omavad kõrget töötlemisvõimsust, mis on teadmiste ja erinevate ülesannete (nt dokumentide kokkuvõtete tegemine, loogiline arutluskäik ja küsimustele vastamine) osas globaalselt tipptasemel.
„ELYZA Tasks 100” (2 parimat graafikut) ja „Japanese MT-Bench” (alumine graafik) võrdlusaluste võrdlused
Täpsemalt, NEC kinnitas tipptasemel jõudlust mitte ainult Jaapanis, vaid ka kogu maailmas kahes üldkasutatava LLM-i tulemuslikkuse mõõtmiseks tavaliselt kasutatavas võrdlusaluses: "ELYZA Tasks 100" ja "Japanese MT-Bench". NEC cotomi Pro andis standardserveris kahe GPU-ga tulemusi rohkem kui viis korda kiiremini kui GPT-4 (*). Veelgi enam, see ületas kiirust mudelitel nagu "Gemini 1.0 Pro" ja näitas jõudlust, mis on võrreldav Claude 2 ja GPT-4-ga. Samal ajal andis "NEC cotomi Light" tulemusi, mis on rohkem kui 15 korda kiiremad kui GPT-4, edestades samal ajal suuri mudeleid, nagu "LLaMA2-70B", ja demonstreerides jõudlust, mis on võrreldav GPT-3.5-Turboga.
2. Suur kiirus
Lisaks suurele jõudlusele järelduste tegemisel on LLM-i praktilise rakendamise jaoks oluline ka aeg (kiirus) päringu saatmise ja vastuse saamise vahel. NEC cotomi Pro ja NEC cotomi Light on saavutanud kiire töötlemise, mis on kahe standardse GPU-ga 87–93% kiirem kui GPT-4. See on saavutatud tänu arhitektuurilistele uuendustele, mis on suurendanud nii jõudlust kui ka kiirust, aga ka mudelis olevale suurele jaapani sõnastikule (märgistamiseks). Need uuendused mitte ainult ei suurenda järelduste tegemise kiirust, vaid suurendavad ka samaaegsete juurdepääsude arvu ja vähendavad peenhäälestamiseks kuluvat koolitusaega. Lisaks saab kiirust täiendavalt parandada, suurendades GPU-de arvu 4 või 8-ni, võimaldades paindlikku konstruktsiooni, mis vastab iga rakenduse vajadustele.
Kasutades mudelit, mis saavutab suure töötlemisvõimsuse kiire ja massilise juurdepääsuga, on võimalik oluliselt lühendada generatiivset AI-d kasutavate ärirakenduste reageerimisaega ja parandada kasutajakogemust. Lisaks võib suur töötlemisvõimsus oluliselt parandada jõudlust pärast iga ettevõtte individuaalsete andmete peenhäälestamist. Edaspidi jätkab NEC koostöö tugevdamist partneritega ning turvaliste, turvaliste ja usaldusväärsete tehisintellekti teenuste pakkumist, mis põhinevad laiendatud NEC cotomi tootevalikul. eesmärk on aidata klientidel lahendada mitmesuguseid keerulisi väljakutseid.
(*) Katse andis 16-bitise arvutustäpsuse graafikaprotsessori keskkonnas, mis oli varustatud kahe L40sShare'iga
Teave NEC Corporationi kohta
NEC Corporation on tõestanud end IT- ja võrgutehnoloogiate integreerimise liidrina, edendades samal ajal kaubamärgi avaldust "helgema maailma korraldamine". NEC võimaldab ettevõtetel ja kogukondadel kohaneda nii ühiskonnas kui ka turul toimuvate kiirete muutustega, kuna see tagab sotsiaalsed väärtused nagu turvalisus, turvalisus, õiglus ja tõhusus, et edendada jätkusuutlikumat maailma, kus kõigil on võimalus oma potentsiaal täielikult ära kasutada. Lisateabe saamiseks külastage NEC-i aadressil https://www.nec.com.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://www.jcnnewswire.com/pressrelease/90452/3/
