Nền tảng phân tích Databricks đã đưa ra một mô hình ngôn ngữ lớn nền tảng nguồn mở, hy vọng các doanh nghiệp sẽ lựa chọn sử dụng các công cụ của mình để tham gia xu hướng LLM.

Biz, được thành lập xung quanh Apache Spark, đã xuất bản một loạt điểm chuẩn khẳng định LLM cho mục đích chung của nó – được đặt tên là DBRX – đánh bại các đối thủ nguồn mở về khả năng hiểu ngôn ngữ, lập trình và toán học. Nhà phát triển cũng tuyên bố họ đã đánh bại GPT-3.5 độc quyền của OpenAI theo các biện pháp tương tự.

DBRX được phát triển bởi Khảm AI, công ty Databricks thu được với giá 1.3 tỷ USD và được đào tạo trên Nvidia DGX Cloud. Databricks tuyên bố họ đã tối ưu hóa DBRX để đạt được hiệu quả với cái mà họ gọi là kiến ​​trúc hỗn hợp các chuyên gia (MoE) – trong đó nhiều mạng chuyên gia hoặc người học phân chia một vấn đề.

Databricks giải thích rằng mô hình sở hữu 132 tỷ tham số, nhưng chỉ có 36 tỷ tham số hoạt động trên bất kỳ đầu vào nào.

Joel Minnick, phó chủ tịch tiếp thị Databricks, nói Đăng ký: “Đó là lý do chính khiến mô hình có thể chạy hiệu quả như hiện tại nhưng cũng chạy rất nhanh. Về mặt thực tế, nếu bạn sử dụng bất kỳ loại chatbot chính nào hiện có, có thể bạn đã quen với việc chờ đợi và xem câu trả lời được tạo ra. Với DBRX, mọi việc gần như diễn ra ngay lập tức.”

Nhưng bản thân hiệu suất của mô hình không phải là điểm mấu chốt đối với Databricks. Rốt cuộc, Biz đang cung cấp DBRX cho miễn phí trên GitHub và Ôm mặt.

Databricks hy vọng khách hàng sử dụng mô hình này làm cơ sở cho LLM của riêng họ. Nếu điều đó xảy ra, nó có thể cải thiện chatbot của khách hàng hoặc khả năng trả lời câu hỏi nội bộ, đồng thời cho thấy cách DBRX được xây dựng bằng các công cụ độc quyền của Databricks.

Databricks tập hợp tập dữ liệu mà DBRX được phát triển bằng cách sử dụng sổ ghi chép Apache Spark và Databricks để xử lý dữ liệu, Unity Catalog để quản lý và quản lý dữ liệu cũng như MLflow để theo dõi thử nghiệm.

Minnick tiết lộ rằng hoạt động đầu tư của doanh nghiệp vào LLM đã bị trì hoãn do lo ngại về quyền sở hữu và quản trị của bên thứ ba. Ông giải thích: “Phải chuyển dữ liệu cho bên thứ ba, không có quyền sở hữu trọng lượng mô hình, không thể kiểm soát hoàn toàn việc quản trị dữ liệu từ đầu đến cuối – đây là những điều khiến chúng bị chậm lại”.

“Những gì chúng tôi đặt ra để xây dựng là một mô hình… cực kỳ hiệu quả mà các doanh nghiệp có thể sử dụng để đưa vào ứng dụng của riêng họ cho các trường hợp sử dụng cụ thể của riêng họ.”

Hyoun Park, Giám đốc điều hành và nhà phân tích chính tại Amalgam Insights, nhận thấy tầm quan trọng của DBRX là Databricks có thể cho thấy cách mô hình được xây dựng từng bước như một quy trình để các doanh nghiệp khác làm theo và tinh chỉnh.

“Sự kết hợp giữa dòng dõi, khả năng hiển thị, khả năng lặp lại và quyền sở hữu mô hình trong việc điều chỉnh, thử nghiệm và vận hành mô hình từ đầu đến cuối là rất quan trọng.”

Park lưu ý rằng ông hiểu rằng Databricks đã xây dựng hơn 50,000 mô hình tùy chỉnh cho khách hàng. “Chính sự kết hợp giữa kinh nghiệm xây dựng mô hình và khả năng thực hiện nó trên quy mô lớn với mô hình hiệu suất cao ngang bằng với những nỗ lực nguồn mở và tư nhân tốt nhất đã khiến thông báo này trở nên đáng chú ý đối với tôi từ góc độ CNTT của doanh nghiệp.”

Tin tức về DBRX diễn ra trong bối cảnh cạnh tranh đang thay đổi của Databricks. Biz có mối quan hệ đối tác chiến lược lâu dài với Microsoft, dẫn đến Azure Databricks – trong đó người dùng được hứa hẹn các dịch vụ dữ liệu tích hợp gắn chặt với nền tảng đám mây của gã khổng lồ Redmond.

Nhưng kể từ khi ưu đãi được đưa ra vào năm 2017, Microsoft đã chuyển sang thị trường nhà hồ của Databricks – nơi người dùng được cung cấp kho dữ liệu và hồ dữ liệu trong một môi trường – và hứa hẹn với người dùng LLM cấp doanh nghiệp với 10 tỷ đô la của nó Quan hệ đối tác OpenAI. Trong môi trường Fabric của nó, Microsoft cũng có thể cung cấp “sao chép” từ các hệ thống cơ sở dữ liệu giao dịch Azure Cosmos DB và Azure SQL DB, cung cấp quyền truy cập vào các dịch vụ phân tích mà không cần di chuyển dữ liệu.

Một câu hỏi mở xoay quanh chiến lược của cả Databricks và Microsoft là khi nào làn sóng đầu tư dự kiến ​​vào công nghệ LLM sẽ đến. Trong tháng Một, Gartner dự đoán Chi tiêu của doanh nghiệp cho công nghệ sẽ không tăng trong năm nay và sẽ ít ảnh hưởng đến các khoản đầu tư CNTT khác. ®

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://go.theregister.com/feed/www.theregister.com/2024/03/28/databricks_dbrx_llm/