TOKYO, 24 Nisan 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701), güncellenmiş özelliklere sahip iki yeni yüksek hızlı üretken Yapay Zeka Büyük Dil Modeli (LLM) olan “NEC cotomi Pro” ve “NEC cotomi Light”ın geliştirilmesiyle “NEC cotomi” üretken yapay zeka hizmetlerini genişletti. eğitim verileri ve mimarileri.
Son yıllarda üretken yapay zekanın hızla gelişmesiyle birlikte, çok çeşitli kuruluşlar Yüksek Lisans (LLM) kullanarak iş dönüşümünü düşünüyor ve doğruluyor. Belirli uygulama senaryoları ortaya çıktıkça, uygulama ve işletme sırasında yanıt süresi, iş verileri koordinasyonu, bilgi koruması ve diğer güvenlik hususları açısından müşteri ihtiyaçlarını karşılayan model ve formatların sağlanmasına ihtiyaç duyulmaktadır.
NEC'in yeni geliştirdiği NEC cotomi Pro ve NEC cotomi Light, global LLM'lerle aynı yüksek performansı ancak on kattan fazla hız sağlayan yüksek hızlı, yüksek performanslı modellerdir.
Genel olarak, bir Yüksek Lisans'ın performansını artırmak için modelin büyütülmesi gerekir, ancak bu, çalışma hızını yavaşlatır. Ancak NEC, gelişmiş yeni bir eğitim yöntemi ve mimarisinin geliştirilmesiyle hem hızı hem de performansı artırmayı başardı.
"NEC cotomi Pro", iki grafik işlem biriminden oluşan bir altyapıyı kullanarak GPT-4'ten yaklaşık %2 daha hızlı yanıt süresiyle "GPT-87" ve "Claude 4" gibi üst düzey küresel modellerle karşılaştırılabilir bir performans elde ediyor ( GPU). Ayrıca daha da hızlı olan “NEC cotomi Light”, “GPT-3.5-Turbo” gibi global modellerle aynı seviyede performansa sahip ancak yaklaşık 1 ila 2 GPU’luk altyapıyla çok sayıda isteği yüksek hızda işleyebiliyor. , birçok görev için yeterli performansı sağlar.
Spesifik olarak, RAG adı verilen bir tekniği kullanan şirket içi belge alma sisteminde, sistem, ince ayar yapmadan GPT-3.5'ten daha yüksek bir doğru yanıt oranına ve ince ayardan sonra bir yanıtla GPT-4'ten daha yüksek bir doğru yanıt oranına ulaştı. yaklaşık %93 daha hızlıdır.
NEC cotomi Pro ve NEC cotomi Light'ın özellikleri1. Çeşitli görevler için yüksek verim
Hem "NEC cotomi Pro" hem de "NEC cotomi Light", bilgi ve belge özetleme, mantıksal akıl yürütme ve soru yanıtlama gibi çeşitli görevleri yerine getirme becerisi açısından küresel olarak en üst düzeyde olan yüksek düzeyde işlem gücüne sahiptir.
“ELYZA Tasks 100” (ilk 2 grafik) ve “Japanese MT-Bench” (alt grafik) kıyaslama karşılaştırmaları
NEC özellikle, genel LLM performansını ölçmek için yaygın olarak kullanılan iki kıyaslamada yalnızca Japonya'da değil aynı zamanda küresel olarak da üst düzey performansı doğruladı: "ELYZA Tasks 100" ve "Japanese MT-Bench." NEC cotomi Pro, iki GPU'lu standart bir sunucuda GPT-4'ten (*) beş kat daha hızlı sonuçlar sağladı. Üstelik “Gemini 1.0 Pro” gibi modellerin hızını geride bırakarak Claude 2 ve GPT-4 ile karşılaştırılabilecek bir performans sergiledi. Aynı zamanda “NEC cotomi Light”, GPT-15'ten 4 kat daha hızlı sonuçlar sağlarken “LLaMA2-70B” gibi büyük modellerden daha iyi performans gösterdi ve GPT-3.5-Turbo ile karşılaştırılabilecek bir performans sergiledi.
2. Yüksek hızlı
Çıkarım sırasındaki yüksek performansın yanı sıra, istek gönderme ile yanıt alma arasındaki süre (hız) da LLM'nin pratik uygulaması açısından önemlidir. NEC cotomi Pro ve NEC cotomi Light, iki standart GPU ile GPT-87'ten %93 ila %4 daha hızlı olan yüksek işleme hızına ulaştı. Bu, hem performansı hem de hızı artıran mimari yeniliklerin yanı sıra modeldeki büyük Japonca sözlük (belirteçleştirme için) sayesinde başarıldı. Bu yenilikler yalnızca çıkarım hızını artırmakla kalmıyor, aynı zamanda eş zamanlı erişim sayısını artırıyor ve ince ayar için gereken eğitim süresini de azaltıyor. Ayrıca GPU sayısı 4 veya 8'e çıkarılarak ek hız iyileştirmeleri yapılabilir, bu da her uygulamanın ihtiyaçlarını karşılayacak esnek yapıya olanak tanır.
Yüksek hız ve toplu erişim ile yüksek işlem gücüne ulaşan bir model kullanılarak, üretken yapay zekadan yararlanan iş uygulamalarının yanıt süresini önemli ölçüde kısaltmak ve kullanıcı deneyimini iyileştirmek mümkün. Buna ek olarak, yüksek işlem gücü, her şirket için ayrı ayrı verilere ince ayar yapıldıktan sonra performansı önemli ölçüde artırabilir. İleriye dönük olarak NEC, iş ortaklarıyla işbirliğini güçlendirmeye ve genişletilmiş NEC cotomi ürün yelpazesine dayalı olarak emniyetli, emniyetli ve güvenilir yapay zeka hizmetleri sağlamaya devam edecek. Müşterilerin çok çeşitli karmaşık zorlukları çözmelerine yardımcı olma hedefi.
(*)Deney, iki L16sShare ile donatılmış GPU ortamında 40 bit hesaplama hassasiyeti sağladı
NEC Corporation hakkında
NEC Corporation, "Daha parlak bir dünya düzenleme" marka beyanını teşvik ederken, BT ve ağ teknolojilerinin entegrasyonunda lider olarak kendini kanıtlamıştır. NEC, herkesin tam potansiyeline ulaşma şansına sahip olduğu daha sürdürülebilir bir dünyayı teşvik etmek için güvenlik, güvenlik, adalet ve verimlilik gibi sosyal değerleri sağladığı için işletmelerin ve toplulukların hem toplumda hem de pazarda meydana gelen hızlı değişikliklere uyum sağlamasına olanak tanır. Daha fazla bilgi için şu adresten NEC'i ziyaret edin: https://www.nec.com.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://www.jcnnewswire.com/pressrelease/90452/3/
