Platform analitik Databricks telah meluncurkan model bahasa besar dasar sumber terbuka, dengan harapan perusahaan akan memilih untuk menggunakan alatnya untuk ikut serta dalam LLM.
Bisnis ini, yang didirikan di sekitar Apache Spark, menerbitkan serangkaian tolok ukur yang mengklaim LLM tujuan umum – dijuluki DBRX – mengalahkan pesaing open source dalam hal pemahaman bahasa, pemrograman, dan matematika. Pengembang juga mengklaim bahwa ia mengalahkan GPT-3.5 milik OpenAI dalam ukuran yang sama.
DBRX dikembangkan oleh Moses AI, yang Databricks diakuisisi sebesar $1.3 miliar, dan dilatih di Nvidia DGX Cloud. Databricks mengklaim telah mengoptimalkan DBRX untuk efisiensi dengan apa yang disebut arsitektur campuran ahli (MoE) – di mana beberapa jaringan ahli atau pembelajar membagi suatu masalah.
Databricks menjelaskan bahwa model tersebut memiliki 132 miliar parameter, tetapi hanya 36 miliar yang aktif pada satu masukan.
Joel Minnick, wakil presiden pemasaran Databricks, mengatakan Pendaftaran: “Itulah alasan besar mengapa model ini mampu berjalan seefisien mungkin, namun juga berjalan sangat cepat. Dalam praktiknya, jika Anda menggunakan chatbot besar apa pun yang ada saat ini, Anda mungkin terbiasa menunggu dan melihat jawaban dihasilkan. Dengan DBRX, prosesnya hampir seketika.”
Namun performa model itu sendiri bukanlah inti dari Databricks. Bisnisnya adalah membuat DBRX tersedia untuk Anda gratis di GitHub dan Wajah Memeluk.
Databricks berharap pelanggan menggunakan model ini sebagai dasar untuk LLM mereka sendiri. Jika hal ini terjadi, hal ini mungkin akan meningkatkan chatbot pelanggan atau jawaban pertanyaan internal, sekaligus menunjukkan bagaimana DBRX dibuat menggunakan alat milik Databricks.
Databricks mengumpulkan kumpulan data tempat DBRX dikembangkan menggunakan notebook Apache Spark dan Databricks untuk pemrosesan data, Katalog Unity untuk manajemen dan tata kelola data, dan MLflow untuk pelacakan eksperimen.
Minnick mengungkapkan bahwa investasi perusahaan di LLM tertunda karena kekhawatiran atas kepemilikan dan tata kelola pihak ketiga. “Harus memindahkan data ke pihak ketiga, tidak memiliki kepemilikan atas bobot model, tidak dapat sepenuhnya mengontrol tata kelola data secara end-to-end – hal-hal inilah yang memperlambat mereka,” jelasnya.
“Apa yang ingin kami bangun adalah… model yang sangat efisien yang dapat digunakan oleh perusahaan untuk menerapkan dan menerapkan aplikasi mereka sendiri untuk kasus penggunaan spesifik mereka.”
Hyoun Park, CEO dan kepala analis di Amalgam Insights, mengamati pentingnya DBRX adalah bahwa Databricks dapat menunjukkan bagaimana model dibangun, langkah demi langkah, sebagai proses untuk diikuti dan disempurnakan oleh perusahaan lain.
“Kombinasi garis keturunan, visibilitas, pengulangan, dan kepemilikan model dalam penyetelan, pengujian, dan operasionalisasi model end-to-end adalah penting.”
Park mencatat bahwa dia memahami Databricks telah membangun lebih dari 50,000 model khusus untuk klien. “Kombinasi antara pengalaman membangun model dan kemampuan untuk melakukannya dalam skala besar dengan model berperforma tinggi yang setara dengan upaya swasta dan sumber terbuka terbaiklah yang menjadikan pengumuman ini penting bagi saya dari perspektif TI perusahaan.”
Berita DBRX muncul dengan latar belakang persaingan yang berubah untuk Databricks. Bisnis ini memiliki kemitraan strategis jangka panjang dengan Microsoft, yang menghasilkan Azure Databricks – di mana pengguna dijanjikan layanan data terintegrasi yang terkait erat dengan platform cloud raksasa Redmond.
Namun sejak tawaran tersebut diluncurkan pada tahun 2017, Microsoft telah beralih ke pasar lakehouse Databricks – di mana pengguna ditawari data warehousing dan data lake dalam satu lingkungan – dan menjanjikan LLM tingkat perusahaan kepada pengguna. itu $10 miliar Kemitraan OpenAI. Di lingkungan Fabric-nya, Microsoft juga dapat menawarkan “mencerminkan” sistem database transaksionalnya Azure Cosmos DB dan Azure SQL DB, menawarkan akses ke layanan analitik tanpa memindahkan data.
Sebuah pertanyaan terbuka yang menyelimuti strategi Databricks dan Microsoft adalah kapan banjirnya investasi yang diharapkan dalam teknologi LLM akan tiba. Di Januari, Gartner memperkirakan pengeluaran perusahaan untuk teknologi tidak akan terjadi pada tahun ini, dan akan berdampak kecil pada investasi TI lainnya. ®
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://go.theregister.com/feed/www.theregister.com/2024/03/28/databricks_dbrx_llm/
