โตเกียว 24 เม.ย. 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) ได้ขยายบริการ AI เจนเนอเรชัน "NEC cotomi" ด้วยการพัฒนา "NEC cotomi Pro" และ "NEC cotomi Light" โมเดลภาษาขนาดใหญ่ (LLM) เจนเนอเรชันความเร็วสูงใหม่สองโมเดลที่มีการอัปเดต ข้อมูลการฝึกอบรมและสถาปัตยกรรม

ด้วยการพัฒนาอย่างรวดเร็วของ generative AI ในช่วงไม่กี่ปีที่ผ่านมา องค์กรต่างๆ มากมายได้พิจารณาและตรวจสอบการเปลี่ยนแปลงทางธุรกิจโดยใช้ LLM เมื่อสถานการณ์การใช้งานที่เฉพาะเจาะจงเกิดขึ้น มีความจำเป็นที่จะต้องจัดหาโมเดลและรูปแบบที่ตรงกับความต้องการของลูกค้าในแง่ของเวลาตอบสนอง การประสานงานข้อมูลธุรกิจ การปกป้องข้อมูล และแง่มุมด้านความปลอดภัยอื่น ๆ ในระหว่างการใช้งานและการดำเนินงาน

NEC cotomi Pro และ NEC cotomi Light ที่พัฒนาขึ้นใหม่ของ NEC เป็นรุ่นความเร็วสูงและประสิทธิภาพสูง ซึ่งให้ประสิทธิภาพสูงเช่นเดียวกับ LLM ระดับโลก แต่มีความเร็วมากกว่าสิบเท่า

โดยทั่วไป ในการปรับปรุงประสิทธิภาพของ LLM แบบจำลองจำเป็นต้องมีขนาดใหญ่ขึ้น แต่จะทำให้ความเร็วในการทำงานช้าลง อย่างไรก็ตาม NEC ประสบความสำเร็จในการปรับปรุงทั้งความเร็วและประสิทธิภาพด้วยการพัฒนาวิธีการฝึกอบรมและสถาปัตยกรรมขั้นสูงใหม่

“NEC cotomi Pro” บรรลุประสิทธิภาพที่เทียบเท่ากับรุ่นระดับบนสุดระดับโลก เช่น “GPT-4” และ “Claude 2” ด้วยเวลาตอบสนองที่เร็วกว่า GPT-87 ประมาณ 4% โดยใช้โครงสร้างพื้นฐานของหน่วยประมวลผลกราฟิกสองตัว ( จีพียู) นอกจากนี้ “NEC cotomi Light” ที่เร็วยิ่งขึ้นไปอีกก็มีประสิทธิภาพระดับเดียวกับรุ่นระดับโลกอย่าง “GPT-3.5-Turbo” แต่สามารถประมวลผลคำขอจำนวนมากด้วยความเร็วสูงด้วยโครงสร้างพื้นฐานประมาณ 1 ถึง 2 GPU โดยให้ประสิทธิภาพที่เพียงพอสำหรับงานต่างๆ มากมาย

โดยเฉพาะอย่างยิ่ง ในระบบเรียกค้นเอกสารภายในองค์กรโดยใช้เทคนิคที่เรียกว่า RAG ระบบได้รับอัตราการตอบสนองที่ถูกต้องสูงกว่า GPT-3.5 โดยไม่มีการปรับแต่งแบบละเอียด และอัตราการตอบสนองที่ถูกต้องสูงกว่า GPT-4 หลังจากการปรับแต่งแบบละเอียด โดยมีการตอบสนอง เร็วขึ้นประมาณ 93%

คุณสมบัติของ NEC cotomi Pro และ NEC cotomi Light1 ปริมาณงานสูงสำหรับงานต่างๆ

ทั้ง “NEC cotomi Pro” และ “NEC cotomi Light” มีพลังการประมวลผลในระดับสูงซึ่งอยู่ในระดับสูงสุดทั่วโลกในแง่ของความรู้และความสามารถในการจัดการงานต่างๆ เช่น การสรุปเอกสาร การใช้เหตุผลเชิงตรรกะ และการตอบคำถาม

การเปรียบเทียบเกณฑ์มาตรฐาน “ELYZA Tasks 100” (2 อันดับแรก) และ “ Japanese MT-Bench” (กราฟด้านล่าง)

โดยเฉพาะอย่างยิ่ง NEC ยืนยันประสิทธิภาพระดับสูงสุด ไม่เพียงแต่ในญี่ปุ่นแต่ยังรวมถึงทั่วโลกด้วยเกณฑ์มาตรฐานสองรายการที่ใช้กันทั่วไปในการวัดประสิทธิภาพ LLM โดยรวม: “ELYZA Tasks 100” และ “ Japanese MT-Bench” NEC cotomi Pro ให้ผลลัพธ์เร็วกว่า GPT-4 (*) มากกว่าห้าเท่าบนเซิร์ฟเวอร์มาตรฐานที่มี GPU สองตัว ยิ่งไปกว่านั้น ยังมีประสิทธิภาพเหนือกว่าความเร็วของรุ่นอย่าง “Gemini 1.0 Pro” และแสดงประสิทธิภาพที่เทียบได้กับ Claude 2 และ GPT-4 ในเวลาเดียวกัน “NEC cotomi Light” ให้ผลลัพธ์ที่เร็วกว่า GPT-15 มากกว่า 4 เท่า ในขณะที่มีประสิทธิภาพเหนือกว่ารุ่นขนาดใหญ่ เช่น “LLaMA2-70B” และสาธิตประสิทธิภาพที่เทียบได้กับ GPT-3.5-Turbo

2 ความเร็วสูง

นอกจากประสิทธิภาพสูงในระหว่างการอนุมานแล้ว เวลา (ความเร็ว) ระหว่างการส่งคำขอและรับการตอบกลับยังมีความสำคัญต่อการประยุกต์ใช้ LLM ในทางปฏิบัติอีกด้วย NEC cotomi Pro และ NEC cotomi Light ได้รับการประมวลผลความเร็วสูงที่เร็วกว่า GPT-87 ถึง 93% ถึง 4% ด้วย GPU มาตรฐานสองตัว สิ่งนี้สำเร็จได้ด้วยนวัตกรรมทางสถาปัตยกรรมที่ปรับปรุงทั้งประสิทธิภาพและความเร็ว เช่นเดียวกับพจนานุกรมภาษาญี่ปุ่นขนาดใหญ่ (สำหรับโทเค็น) ในโมเดล นวัตกรรมเหล่านี้ไม่เพียงแต่เพิ่มความเร็วของการอนุมานเท่านั้น แต่ยังเพิ่มจำนวนการเข้าถึงพร้อมกัน และลดเวลาการฝึกอบรมที่จำเป็นสำหรับการปรับแต่งอย่างละเอียด นอกจากนี้ ยังสามารถปรับปรุงความเร็วเพิ่มเติมได้โดยการเพิ่มจำนวน GPU เป็น 4 หรือ 8 ตัว ทำให้โครงสร้างมีความยืดหยุ่นเพื่อตอบสนองความต้องการของแต่ละแอปพลิเคชัน

ด้วยการใช้โมเดลที่ได้รับพลังการประมวลผลสูงด้วยความเร็วสูงและการเข้าถึงจำนวนมาก จึงสามารถลดเวลาตอบสนองของแอปพลิเคชันทางธุรกิจที่ใช้ generative AI และปรับปรุงประสบการณ์ผู้ใช้ได้อย่างมาก นอกจากนี้ พลังการประมวลผลที่สูงสามารถปรับปรุงประสิทธิภาพได้อย่างมากหลังจากปรับแต่งข้อมูลส่วนตัวสำหรับแต่ละบริษัทอย่างละเอียด นับจากนี้ไป NEC จะยังคงกระชับความร่วมมือกับพันธมิตรต่อไป และให้บริการ AI ที่ปลอดภัย มั่นคง และเชื่อถือได้ โดยอิงจากกลุ่มผลิตภัณฑ์ Cotomi ของ NEC ที่ขยายตัว พร้อมด้วย เป้าหมายในการช่วยเหลือลูกค้าในการแก้ปัญหาความท้าทายที่ซับซ้อนมากมาย

(*) การทดลองให้ความแม่นยำในการคำนวณ 16 บิตในสภาพแวดล้อม GPU ที่ติดตั้ง L40sShare สองตัว

เกี่ยวกับเอ็นอีซี คอร์ปอเรชั่น

NEC Corporation ได้สร้างชื่อเสียงให้กับตนเองในฐานะผู้นำในการบูรณาการเทคโนโลยีไอทีและเครือข่าย ในขณะเดียวกันก็ส่งเสริมคำกล่าวของแบรนด์ว่า NEC ช่วยให้ธุรกิจและชุมชนสามารถปรับตัวให้เข้ากับการเปลี่ยนแปลงอย่างรวดเร็วที่เกิดขึ้นทั้งในสังคมและตลาด เนื่องจากเป็นค่านิยมทางสังคมของความปลอดภัย ความมั่นคง ความเป็นธรรม และประสิทธิภาพ เพื่อส่งเสริมโลกที่ยั่งยืนมากขึ้น ซึ่งทุกคนมีโอกาสบรรลุศักยภาพสูงสุด ดูรายละเอียดเพิ่มเติมได้ที่ NEC ที่ https://www.nec.com.

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.jcnnewswire.com/pressrelease/90452/3/