ТОКИО, 24 апреля 2024 г. – (JCN Newswire) – Корпорация NEC (NEC; TSE: 6701) расширила свои услуги генеративного ИИ «NEC cotomi», разработав «NEC cotomi Pro» и «NEC cotomi Light», две новые высокоскоростные генеративные модели большого языка ИИ (LLM), включающие обновленные обучающие данные и архитектуры.
В связи с быстрым развитием генеративного искусственного интеллекта в последние годы широкий круг организаций рассматривал и проверял трансформацию бизнеса с использованием LLM. По мере появления конкретных сценариев применения возникает необходимость предоставлять модели и форматы, отвечающие потребностям клиентов с точки зрения времени отклика, координации бизнес-данных, защиты информации и других аспектов безопасности во время внедрения и эксплуатации.
Недавно разработанные NEC NEC cotomi Pro и NEC cotomi Light — это высокоскоростные и высокопроизводительные модели, которые обеспечивают такую же высокую производительность, как и глобальные LLM, но более чем в десять раз быстрее.
Обычно для повышения производительности LLM модель необходимо увеличить, но это замедляет скорость работы. Тем не менее, NEC удалось улучшить скорость и производительность благодаря разработке нового передового метода и архитектуры обучения.
«NEC cotomi Pro» достигает производительности, сравнимой с мировыми моделями высшего уровня, такими как «GPT-4» и «Claude 2», при этом время отклика примерно на 87% быстрее, чем у GPT-4, используя инфраструктуру из двух графических процессоров ( ГПУ). Кроме того, еще более быстрый «NEC cotomi Light» имеет тот же уровень производительности, что и глобальные модели, такие как «GPT-3.5-Turbo», но может обрабатывать большое количество запросов на высокой скорости с инфраструктурой примерно из 1–2 графических процессоров. , обеспечивая достаточную производительность для многих задач.
В частности, во внутренней системе поиска документов, использующей метод под названием RAG, система достигла скорости правильного ответа выше, чем GPT-3.5 без тонкой настройки, и скорости правильного ответа выше, чем GPT-4 после тонкой настройки, с ответом время, что примерно на 93% быстрее.
Особенности NEC cotomi Pro и NEC cotomi Light1. Высокая производительность для различных задач
И «NEC cotomi Pro», и «NEC cotomi Light» обладают высоким уровнем вычислительной мощности, который находится на высшем мировом уровне с точки зрения знаний и способности решать различные задачи, такие как обобщение документов, логические рассуждения и ответы на вопросы.
Сравнение тестов «ELYZA Tasks 100» (2 верхних графика) и «Japanese MT-Bench» (нижний график)
В частности, NEC подтвердила высочайшие показатели не только в Японии, но и во всем мире по двум тестам, обычно используемым для измерения общей эффективности LLM: «ELYZA Tasks 100» и «Japanese MT-Bench». NEC cotomi Pro показал результаты более чем в пять раз быстрее, чем GPT-4 (*) на стандартном сервере с двумя графическими процессорами. Более того, он превзошел по скорости такие модели, как «Gemini 1.0 Pro» и показал производительность, сравнимую с Claude 2 и GPT-4. При этом «NEC cotomi Light» показал результаты, которые более чем в 15 раз быстрее, чем GPT-4, при этом обогнав крупные модели, такие как «LLaMA2-70B», и продемонстрировав производительность, сравнимую с GPT-3.5-Turbo.
2. Высокоскоростной
Помимо высокой производительности при выводе, для практического применения LLM также важно время (скорость) между отправкой запроса и получением ответа. NEC cotomi Pro и NEC cotomi Light достигли высокой скорости обработки, которая на 87–93 % быстрее, чем GPT-4, с двумя стандартными графическими процессорами. Этого удалось добиться благодаря архитектурным инновациям, которые повысили производительность и скорость, а также большому японскому словарю (для токенизации) в модели. Эти нововведения не только увеличивают скорость вывода, но и увеличивают количество одновременных доступов и сокращают время обучения, необходимое для тонкой настройки. Кроме того, можно добиться дополнительного повышения скорости за счет увеличения количества графических процессоров до 4 или 8, что позволяет создать гибкую конструкцию, отвечающую потребностям каждого приложения.
Используя модель, обеспечивающую высокую вычислительную мощность с высокой скоростью и массовым доступом, можно значительно сократить время отклика бизнес-приложений, использующих генеративный искусственный интеллект, и улучшить взаимодействие с пользователем. Кроме того, высокая вычислительная мощность может значительно повысить производительность после тонкой настройки индивидуальных данных для каждой компании. В дальнейшем NEC продолжит укреплять сотрудничество с партнерами и предоставлять безопасные, надежные и надежные услуги искусственного интеллекта на основе расширенной линейки NEC cotomi, включая Целью компании является помощь клиентам в решении широкого спектра сложных задач.
(*)Эксперимент обеспечил 16-битную точность вычислений в среде графического процессора, оснащенной двумя L40sShare.
О корпорации NEC
Корпорация NEC зарекомендовала себя как лидер в области интеграции информационных технологий и сетевых технологий, продвигая при этом заявление бренда «Управление ярким миром». NEC позволяет предприятиям и сообществам адаптироваться к быстрым изменениям, происходящим как в обществе, так и на рынке, поскольку он обеспечивает социальные ценности безопасности, защищенности, справедливости и эффективности для продвижения более устойчивого мира, в котором каждый имеет шанс полностью реализовать свой потенциал. Для получения дополнительной информации посетите NEC по адресу https://www.nec.com.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.jcnnewswire.com/pressrelease/90452/3/
