东京，24 年 2024 月 XNUMX 日 – (JCN Newswire) – NEC 公司（NEC；TSE：6701）通过开发“NEC cotomi Pro”和“NEC cotomi Light”扩展了其“NEC cotomi”生成式 AI 服务，这两种新的高速生成式 AI 大语言模型 (LLM) 具有更新的训练数据和架构。
近年来，随着生成式人工智能的快速发展，越来越多的组织开始考虑和验证利用法学硕士进行业务转型。随着具体应用场景的出现，在实施和运营过程中，需要在响应时间、业务数据协同、信息保护等安全方面提供满足客户需求的模型和格式。
NEC新开发的NEC cotomi Pro和NEC cotomi Light是高速、高性能型号，可提供与全球LLM相同的高性能，但速度是其十倍以上。
一般来说，为了提高LLM的性能，需要将模型做大，但这会降低运行速度。然而，NEC 通过开发先进的新训练方法和架构，成功地提高了速度和性能。
“NEC cotomi Pro”的性能可与“GPT-4”和“Claude 2”等全球顶级型号相媲美，其响应时间比使用两个图形处理单元的基础设施的 GPT-87 快约 4%（图形处理器）。此外，速度更快的“NEC cotomi Light”具有与“GPT-3.5-Turbo”等全球型号相同的性能水平，但可以利用约1至2个GPU的基础设施高速处理大量请求，为许多任务提供足够的性能。
具体来说，在使用RAG技术的内部文档检索系统中，系统在没有微调的情况下实现了高于GPT-3.5的正确响应率，并且在微调后实现了高于GPT-4的正确响应率，并且响应时间大约快了 93%。
NEC cotomi Pro 和 NEC cotomi Light1 的特点。各种任务的高吞吐量
“NEC cotomi Pro”和“NEC cotomi Light”都具有高水平的处理能力，在处理文档摘要、逻辑推理和问题解答等各种任务的知识和能力方面处于全球顶级水平。
“ELYZA Tasks 100”（顶部 2 个图表）和“Japan MT-Bench”（底部图表）基准比较
具体来说，NEC 在两个常用来衡量 LLM 整体表现的基准测试中确认了其顶级表现，不仅在日本，而且在全球范围内：“ELYZA Tasks 100”和“Japan MT-Bench”。 NEC cotomi Pro 在具有两个 GPU 的标准服务器上提供的结果比 GPT-4 (*) 快五倍以上。此外，它的速度超越了“Gemini 1.0 Pro”等模型，表现出与Claude 2和GPT-4相当的性能。同时，“NEC cotomi Light”提供的结果比 GPT-15 快 4 倍以上，同时优于“LLaMA2-70B”等大型模型，并展示了与 GPT-3.5-Turbo 相当的性能。
2.高速
除了推理过程中的高性能之外，发送请求和接收响应之间的时间（速度）对于LLM的实际应用也很重要。 NEC cotomi Pro 和 NEC cotomi Light 实现了高速处理，比具有两个标准 GPU 的 GPT-87 快 93% 至 4%。这要归功于提高性能和速度的架构创新，以及模型中的大型日语词典（用于标记化）。这些创新不仅提高了推理速度，还增加了同时访问的数量并减少了微调所需的训练时间。此外，还可以通过将 GPU 数量增加到 4 个或 8 个来进一步提高速度，从而实现灵活的构建以满足每个应用程序的需求。
通过利用具有高速度和海量访问能力的高处理能力模型，可以显着缩短利用生成式人工智能的业务应用程序的响应时间并改善用户体验。此外，高处理能力可以在对每个公司的个体数据进行微调后显着提高性能。未来，NEC将继续加强与合作伙伴的合作，基于扩展的NEC cotomi产品阵容，提供安全、可靠、可靠的AI服务，帮助客户解决各种复杂挑战的目标。
(*)实验在配备两个L16sShare的GPU环境中提供40位计算精度
关于NEC公司
NEC Corporation已确立了自己在IT和网络技术集成方面的领导者的地位，同时宣传了“编排更美好世界”的品牌主张。 NEC通过提供安全性，安全性，公平性和效率的社会价值，促进企业和社区适应社会和市场中发生的快速变化，从而促进一个更加可持续的世界，每个人都有机会发挥自己的全部潜力。 有关更多信息，请访问NEC，网址为： https://www.nec.com.
