TOKYO, 24 April 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) telah memperluas layanan AI generatif “NEC cotomi” dengan pengembangan “NEC cotomi Pro” dan “NEC cotomi Light,” dua Model Bahasa Besar (LLM) AI generatif berkecepatan tinggi baru yang menampilkan fitur-fitur terbaru data pelatihan dan arsitektur.
Dengan pesatnya perkembangan AI generatif dalam beberapa tahun terakhir, berbagai organisasi telah mempertimbangkan dan memverifikasi transformasi bisnis menggunakan LLM. Ketika skenario aplikasi spesifik muncul, terdapat kebutuhan untuk menyediakan model dan format yang memenuhi kebutuhan pelanggan dalam hal waktu respons, koordinasi data bisnis, perlindungan informasi, dan aspek keamanan lainnya selama implementasi dan pengoperasian.
NEC cotomi Pro dan NEC cotomi Light yang baru dikembangkan oleh NEC adalah model berkecepatan tinggi dan berkinerja tinggi yang memberikan kinerja tinggi yang sama dengan LLM global, namun dengan kecepatan lebih dari sepuluh kali lipat.
Secara umum, untuk meningkatkan kinerja LLM, model perlu dibuat lebih besar, namun hal ini memperlambat kecepatan pengoperasian. Namun, NEC telah berhasil meningkatkan kecepatan dan kinerja dengan pengembangan metode dan arsitektur pelatihan baru yang canggih.
“NEC cotomi Pro” mencapai kinerja yang sebanding dengan model global tingkat atas seperti “GPT-4” dan “Claude 2,” dengan waktu respons sekitar 87% lebih cepat dibandingkan GPT-4 yang menggunakan infrastruktur dua unit pemrosesan grafis ( GPU). Selain itu, “NEC cotomi Light” yang lebih cepat memiliki tingkat performa yang sama dengan model global seperti “GPT-3.5-Turbo”, namun dapat memproses permintaan dalam jumlah besar dengan kecepatan tinggi dengan infrastruktur sekitar 1 hingga 2 GPU. , memberikan kinerja yang memadai untuk banyak tugas.
Secara khusus, dalam sistem pengambilan dokumen internal yang menggunakan teknik yang disebut RAG, sistem mencapai tingkat respons benar yang lebih tinggi dari GPT-3.5 tanpa penyesuaian dan tingkat respons benar yang lebih tinggi dari GPT-4 setelah penyesuaian, dengan respons waktu yang sekitar 93% lebih cepat.
Fitur NEC cotomi Pro dan NEC cotomi Light1. Throughput tinggi untuk berbagai tugas
Baik “NEC cotomi Pro” maupun “NEC cotomi Light” memiliki kekuatan pemrosesan tingkat tinggi yang berada di level teratas secara global dalam hal pengetahuan dan kemampuan untuk menangani berbagai tugas, seperti peringkasan dokumen, penalaran logis, dan menjawab pertanyaan.
Perbandingan benchmark “ELYZA Tasks 100” (2 grafik teratas) dan “MT-Bench Jepang” (grafik bawah)
Secara khusus, NEC mengkonfirmasi kinerja tingkat atas, tidak hanya di Jepang tetapi juga secara global, dalam dua tolok ukur yang biasa digunakan untuk mengukur kinerja LLM secara keseluruhan: “ELYZA Tasks 100” dan “Japanese MT-Bench.” NEC cotomi Pro memberikan hasil lima kali lebih cepat dibandingkan GPT-4 (*) pada server standar dengan dua GPU. Selain itu, ia mengungguli kecepatan model seperti “Gemini 1.0 Pro” dan menunjukkan kinerja yang sebanding dengan Claude 2 dan GPT-4. Pada saat yang sama, “NEC cotomi Light” memberikan hasil yang 15 kali lebih cepat dibandingkan GPT-4 sekaligus mengungguli model besar seperti “LLaMA2-70B” dan menunjukkan performa yang sebanding dengan GPT-3.5-Turbo.
2. Kecepatan tinggi
Selain kinerja tinggi selama inferensi, waktu (kecepatan) antara pengiriman permintaan dan penerimaan respons juga penting untuk penerapan praktis LLM. NEC cotomi Pro dan NEC cotomi Light telah mencapai pemrosesan kecepatan tinggi yaitu 87% hingga 93% lebih cepat dibandingkan GPT-4 dengan dua GPU standar. Hal ini tercapai berkat inovasi arsitektur yang telah meningkatkan kinerja dan kecepatan, serta kamus besar bahasa Jepang (untuk tokenisasi) dalam modelnya. Inovasi ini tidak hanya meningkatkan kecepatan inferensi, namun juga meningkatkan jumlah akses simultan dan mengurangi waktu pelatihan yang diperlukan untuk penyesuaian. Selain itu, peningkatan kecepatan tambahan dapat dilakukan dengan meningkatkan jumlah GPU menjadi 4 atau 8, sehingga memungkinkan konstruksi yang fleksibel untuk memenuhi kebutuhan setiap aplikasi.
Dengan memanfaatkan model yang mencapai kekuatan pemrosesan tinggi dengan kecepatan tinggi dan akses massal, waktu respons aplikasi bisnis yang memanfaatkan AI generatif dapat dipersingkat secara signifikan dan meningkatkan pengalaman pengguna. Selain itu, kekuatan pemrosesan yang tinggi dapat meningkatkan kinerja secara signifikan setelah menyempurnakan data individu untuk setiap perusahaan. Ke depannya, NEC akan terus memperkuat kerja sama dengan mitra dan menyediakan layanan AI yang aman, terjamin, dan andal berdasarkan rangkaian produk cotomi NEC yang diperluas, dengan tujuan membantu pelanggan memecahkan berbagai tantangan kompleks.
(*)Eksperimen memberikan presisi penghitungan 16-bit dalam lingkungan GPU yang dilengkapi dengan dua L40sShare
Tentang NEC Corporation
NEC Corporation telah memantapkan dirinya sebagai pemimpin dalam integrasi TI dan teknologi jaringan sambil mempromosikan pernyataan merek "Mengatur dunia yang lebih cerah." NEC memungkinkan bisnis dan komunitas untuk beradaptasi dengan perubahan cepat yang terjadi di masyarakat dan pasar karena NEC memberikan nilai-nilai sosial seperti keselamatan, keamanan, keadilan dan efisiensi untuk mempromosikan dunia yang lebih berkelanjutan di mana setiap orang memiliki kesempatan untuk mencapai potensi penuh mereka. Untuk informasi lebih lanjut, kunjungi NEC di https://www.nec.com.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://www.jcnnewswire.com/pressrelease/90452/3/
