ТОКІО, 24 квітня 2024 р. – (JCN Newswire) – Корпорація NEC (NEC; TSE: 6701) розширила свої генеративні послуги штучного інтелекту «NEC cotomi», розробивши «NEC cotomi Pro» і «NEC cotomi Light», дві нові високошвидкісні генеративні моделі великої мови ШІ (LLM), що містять оновлені навчальні дані та архітектури.

Зі стрімким розвитком генеративного штучного інтелекту в останні роки багато організацій розглядають і перевіряють трансформацію бізнесу за допомогою LLM. З появою конкретних сценаріїв додатків виникає необхідність надавати моделі та формати, які відповідають потребам клієнтів щодо часу відгуку, координації бізнес-даних, захисту інформації та інших аспектів безпеки під час впровадження та експлуатації.

Нещодавно розроблені NEC NEC cotomi Pro та NEC cotomi Light — це високошвидкісні високопродуктивні моделі, які забезпечують таку ж високу продуктивність, як глобальні LLM, але більш ніж у десять разів швидше.

Як правило, щоб покращити продуктивність LLM, модель потрібно збільшити, але це сповільнює швидкість роботи. Однак NEC вдалося підвищити як швидкість, так і продуктивність завдяки розробці передового нового методу навчання та архітектури.

«NEC cotomi Pro» досягає продуктивності, порівнянної з глобальними моделями найвищого рівня, такими як «GPT-4» і «Claude 2», з часом відгуку, який приблизно на 87% швидший, ніж у GPT-4, використовуючи інфраструктуру з двох графічних процесорів ( GPU). Крім того, ще швидший «NEC cotomi Light» має такий самий рівень продуктивності, як і глобальні моделі, такі як «GPT-3.5-Turbo», але може обробляти велику кількість запитів на високій швидкості за допомогою інфраструктури приблизно від 1 до 2 GPU. , забезпечуючи достатню продуктивність для багатьох завдань.

Зокрема, у внутрішній системі пошуку документів, яка використовує техніку під назвою RAG, система досягла частоти правильних відповідей, вищої за GPT-3.5 без тонкого налаштування, і частоти правильних відповідей, вищої за GPT-4 після точного налаштування, з відповіддю час, що приблизно на 93% швидше.

Особливості NEC cotomi Pro та NEC cotomi Light1. Висока пропускна здатність для різних завдань

І «NEC cotomi Pro», і «NEC cotomi Light» мають високі рівні обчислювальної потужності, які є найвищими у всьому світі з точки зору знань і здатності виконувати різноманітні завдання, такі як узагальнення документів, логічне мислення та відповіді на запитання.

Порівняння тестів «ELYZA Tasks 100» (верхні 2 графіки) і «Japanese MT-Bench» (нижній графік)

Зокрема, NEC підтвердила найвищий рівень продуктивності не лише в Японії, а й у всьому світі в двох тестах, які зазвичай використовуються для вимірювання загальної продуктивності LLM: «ELYZA Tasks 100» і «Japanese MT-Bench». NEC cotomi Pro надає результати більш ніж у п’ять разів швидше, ніж GPT-4 (*) на стандартному сервері з двома графічним процесором. Більш того, він перевершив за швидкістю такі моделі, як «Gemini 1.0 Pro» і показав продуктивність, порівнянну з Claude 2 і GPT-4. У той же час «NEC cotomi Light» забезпечив результати, які більш ніж у 15 разів перевершують GPT-4, перевершуючи великі моделі, такі як «LLaMA2-70B», і демонструючи продуктивність, порівнянну з GPT-3.5-Turbo.

2. Висока швидкість

Окрім високої продуктивності під час логічного висновку, час (швидкість) між відправленням запиту та отриманням відповіді також важливий для практичного застосування LLM. NEC cotomi Pro та NEC cotomi Light досягли високої швидкості обробки, яка на 87%–93% швидше, ніж GPT-4 із двома стандартними графічним процесором. Це було досягнуто завдяки архітектурним інноваціям, які підвищили як продуктивність, так і швидкість, а також великий японський словник (для токенізації) у моделі. Ці інновації не тільки збільшують швидкість логічного висновку, а й збільшують кількість одночасних доступів і скорочують час навчання, необхідний для точного налаштування. Крім того, можна збільшити кількість графічних процесорів до 4 або 8, що забезпечує гнучку конструкцію для задоволення потреб кожної програми.

Використовуючи модель, яка забезпечує високу потужність обробки з високою швидкістю та масовим доступом, можна значно скоротити час відгуку бізнес-додатків, які використовують генеративний штучний інтелект, і покращити взаємодію з користувачем. Крім того, висока потужність обробки може значно підвищити продуктивність після точного налаштування індивідуальних даних для кожної компанії. Надалі NEC продовжуватиме зміцнювати співпрацю з партнерами та надавати безпечні, захищені та надійні послуги ШІ на основі розширеної лінійки NEC cotomi, з мета допомогти клієнтам вирішити широкий спектр складних завдань.

(*) Експеримент забезпечив 16-бітну точність обчислень у середовищі графічного процесора, оснащеного двома L40sShare

Про корпорацію NEC

Корпорація NEC зарекомендувала себе як лідер в галузі інтеграції ІТ та мережевих технологій, одночасно просуваючи заяву про бренд «Організація яскравого світу». NEC дозволяє бізнесу та громадам адаптуватися до швидких змін, що відбуваються як у суспільстві, так і на ринку, оскільки передбачає соціальні цінності безпеки, безпеки, справедливості та ефективності для сприяння розвитку більш стійкого світу, де кожен має шанс повністю розкрити свій потенціал. Для отримання додаткової інформації відвідайте NEC за адресою https://www.nec.com.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://www.jcnnewswire.com/pressrelease/90452/3/