도쿄, 24년 2024월 XNUMX일 – (JCN Newswire) – NEC Corporation(NEC; TSE: 6701)은 업데이트된 두 가지 새로운 고속 생성 AI LLM(대형 언어 모델)인 "NEC cotomi Pro" 및 "NEC cotomi Light" 개발을 통해 "NEC cotomi" 생성 AI 서비스를 확장했습니다. 훈련 데이터 및 아키텍처.

최근 몇 년간 생성 AI의 급속한 발전으로 인해 다양한 조직에서 LLM을 사용한 비즈니스 혁신을 고려하고 검증해 왔습니다. 특정 애플리케이션 시나리오가 등장함에 따라 구현 및 운영 중 응답 시간, 비즈니스 데이터 조정, 정보 보호 및 기타 보안 측면에서 고객 요구를 충족하는 모델과 형식을 제공해야 합니다.

NEC가 새로 개발한 NEC cotomi Pro와 NEC cotomi Light는 글로벌 LLM과 동일한 고성능을 제공하면서도 10배 이상의 속도를 제공하는 고속 고성능 모델입니다.

일반적으로 LLM의 성능을 향상시키기 위해서는 모델을 더 크게 만들어야 하지만 이로 인해 작동 속도가 느려집니다. 그러나 NEC는 새로운 고급 훈련 방법과 아키텍처를 개발하여 속도와 성능을 모두 향상시키는 데 성공했습니다.

'NEC cotomi Pro'는 4개의 그래픽 처리 장치 인프라를 사용하여 GPT-2보다 약 87% 빠른 응답 시간으로 'GPT-4', 'Claude 3.5' 등 글로벌 최상위 모델에 필적하는 성능을 달성합니다. GPU). 또한 더욱 빨라진 'NEC 코토미 라이트'는 'GPT-1-Turbo' 등 글로벌 모델과 동등한 수준의 성능을 갖췄지만, 2~XNUMX GPU 정도의 인프라로 대량의 요청을 고속으로 처리할 수 있다. , 많은 작업에 충분한 성능을 제공합니다.

구체적으로 RAG라는 기법을 활용한 사내 문서 검색 시스템에서는 미세 조정 없이 GPT-3.5보다 높은 정확한 응답률을 달성했고, 미세 조정 후에는 GPT-4보다 높은 정확한 응답률을 달성했다. 약 93% 더 빠른 시간입니다.

NEC cotomi Pro 및 NEC cotomi Light1의 기능. 다양한 작업을 위한 높은 처리량

"NEC cotomi Pro"와 "NEC cotomi Light"는 모두 문서 요약, 논리적 추론, 질문 답변 등 다양한 작업을 처리하는 지식과 능력 측면에서 세계 최고 수준의 높은 처리 능력을 갖추고 있습니다.

"ELYZA Tasks 100"(상위 2개 그래프) 및 "일본 MT-Bench"(하단 그래프) 벤치마크 비교

특히 NEC는 전체 LLM 성과를 측정하는 데 일반적으로 사용되는 두 가지 벤치마크인 "ELYZA Tasks 100"과 "일본 MT-Bench"에서 일본뿐만 아니라 전 세계적으로 최고 수준의 성능을 확인했습니다. NEC cotomi Pro는 4개의 GPU가 장착된 표준 서버에서 GPT-1.0(*)보다 2배 이상 빠른 결과를 제공했습니다. 더욱이 '제미니 4 프로' 등 모델의 속도를 능가하며 클로드 15, GPT-4와 맞먹는 성능을 보였다. 동시에 'NEC 코토미 라이트'는 GPT-2보다 70배 이상 빠른 결과를 내면서도 'LLaMA3.5-XNUMXB' 등 대형 모델을 능가하며 GPT-XNUMX-Turbo와 맞먹는 성능을 보였다.

2. 고속

추론 시 고성능 외에도 요청을 보내고 응답을 받기까지의 시간(속도)도 LLM의 실제 적용에 중요합니다. NEC cotomi Pro 및 NEC cotomi Light는 87개의 표준 GPU를 사용하여 GPT-93보다 4%~4% 빠른 고속 처리를 달성했습니다. 이는 성능과 속도를 모두 향상시킨 아키텍처 혁신과 모델의 대형 일본어 사전(토큰화용) 덕분에 달성되었습니다. 이러한 혁신은 추론 속도를 높일 뿐만 아니라, 동시 접속 횟수를 늘리고, 미세 조정에 필요한 훈련 시간을 줄여줍니다. 또한, GPU 수를 8개 또는 XNUMX개로 늘려 추가적인 속도 향상이 가능하므로 각 애플리케이션의 요구 사항을 충족할 수 있는 유연한 구성이 가능합니다.

빠른 속도와 대량 액세스로 높은 처리 능력을 달성하는 모델을 활용하면 생성 AI를 활용하는 비즈니스 애플리케이션의 응답 시간을 획기적으로 단축하고 사용자 경험을 향상시킬 수 있습니다. 또한 높은 처리 능력은 각 기업의 개별 데이터를 미세 조정한 후 성능을 크게 향상시킬 수 있습니다. 앞으로도 NEC는 파트너와의 협력을 지속적으로 강화하고 확장된 NEC cotomi 라인업을 기반으로 안전하고 신뢰할 수 있는 AI 서비스를 제공할 것입니다. 고객이 광범위하고 복잡한 문제를 해결할 수 있도록 돕는 것이 목표입니다.

(*)16개의 L40sShare가 장착된 GPU 환경에서 XNUMX비트 계산 정밀도를 제공하는 실험

NEC Corporation 정보

NEC Corporation은 "더 밝은 세상을 조장한다"는 브랜드 선언문을 홍보하면서 IT 및 네트워크 기술 통합의 리더로 자리 매김했습니다. NEC는 기업과 커뮤니티가 안전, 보안, 공정성 및 효율성이라는 사회적 가치를 제공함으로써 사회와 시장에서 발생하는 급격한 변화에 적응할 수 있도록하여 모든 사람이 잠재력을 최대한 발휘할 수있는보다 지속 가능한 세상을 촉진합니다. 자세한 내용은 NEC를 방문하십시오. https://www.nec.com.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://www.jcnnewswire.com/pressrelease/90452/3/