Microsoft hiện nay tuyên bố rằng họ đã phát hành “các mô hình ngôn ngữ nhỏ (SLM) có khả năng và hiệu quả nhất về mặt chi phí hiện có,” cho biết Phi-3— lần lặp thứ ba của nó Nhóm mô hình ngôn ngữ nhỏ Phi (SLM)—vượt trội hơn các mô hình có kích thước tương đương và một số mô hình lớn hơn.

Mô hình ngôn ngữ nhỏ (SLM) là một loại mô hình AI được thiết kế để cực kỳ hiệu quả trong việc thực hiện các tác vụ liên quan đến ngôn ngữ cụ thể. Không giống như Mô hình ngôn ngữ lớn (LLM), rất phù hợp cho nhiều nhiệm vụ chung, SLM được xây dựng dựa trên tập dữ liệu nhỏ hơn để làm cho chúng hiệu quả hơn và tiết kiệm chi phí hơn cho các trường hợp sử dụng cụ thể.

Phi-3 có nhiều phiên bản khác nhau, Microsoft giải thích, trong đó phiên bản nhỏ nhất là Phi-3 Mini, một mô hình tham số 3.8 tỷ được đào tạo trên 3.3 nghìn tỷ mã thông báo. Mặc dù có kích thước tương đối nhỏ—khối lượng của Llama-3 nặng hơn 15 nghìn tỷ mã thông báo dữ liệu—Phi-3 Mini vẫn có khả năng xử lý 128K mã thông báo ngữ cảnh. Điều này làm cho nó có thể so sánh với GPT-4 và đánh bại Llama-3 và Mistral Large về dung lượng mã thông báo.

Nói cách khác, những gã khổng lồ về AI như Llama-3 trên Meta.ai và Mistral Large có thể sụp đổ sau một cuộc trò chuyện dài hoặc nhắc nhở trước khi mô hình nhẹ này bắt đầu gặp khó khăn.

Một trong những ưu điểm đáng kể nhất của Phi-3 Mini là khả năng lắp và chạy trên điện thoại thông minh thông thường. Microsoft đã thử nghiệm mô hình này trên iPhone 14 và nó chạy không gặp vấn đề gì, tạo ra 14 mã thông báo mỗi giây. Chạy Phi-3 Mini chỉ cần 1.8GB VRAM, khiến nó trở thành giải pháp thay thế nhẹ nhàng và hiệu quả cho những người dùng có yêu cầu tập trung hơn.

Mặc dù Phi-3 Mini có thể không phù hợp với những lập trình viên cao cấp hoặc những người có yêu cầu rộng rãi nhưng nó có thể là sự thay thế hiệu quả cho những người dùng có nhu cầu cụ thể. Ví dụ: các công ty khởi nghiệp cần chatbot hoặc những người tận dụng LLM để phân tích dữ liệu có thể sử dụng Phi-3 Mini cho các nhiệm vụ như tổ chức dữ liệu, trích xuất thông tin, lập luận toán học và xây dựng tác nhân. Nếu mô hình được cấp quyền truy cập internet, nó có thể trở nên khá mạnh mẽ, bù đắp cho việc thiếu khả năng cung cấp thông tin theo thời gian thực.

Phi-3 Mini đạt được điểm kiểm tra cao do Microsoft tập trung vào việc quản lý tập dữ liệu của mình với những thông tin hữu ích nhất có thể. Trên thực tế, họ Phi rộng hơn không phù hợp với những công việc đòi hỏi kiến ​​thức thực tế, nhưng kỹ năng suy luận cao đã giúp họ vượt lên trên các đối thủ cạnh tranh lớn. Phi-3 Medium (mô hình 14 tỷ tham số) liên tục đánh bại các LLM mạnh mẽ như GPT-3.5 — LLM hỗ trợ phiên bản miễn phí của ChatGPT— và phiên bản Mini đánh bại các mô hình mạnh mẽ như Mixtral-8x7B trong phần lớn các điểm chuẩn tổng hợp.

Tuy nhiên, điều đáng chú ý là Phi-3 không phải là nguồn mở như người tiền nhiệm của nó, Phi-2. Thay vào đó, nó là một mở mô hình, nghĩa là nó có thể truy cập và sẵn sàng để sử dụng, nhưng nó không có giấy phép nguồn mở giống như Phi-2, cho phép sử dụng rộng rãi hơn và các ứng dụng thương mại.

Trong những tuần tới, Microsoft cho biết họ sẽ tung ra thêm nhiều model thuộc họ Phi-3, bao gồm Phi-3 Small (7 tỷ thông số) và Phi-3 Medium nói trên.

Microsoft đã cung cấp Phi-3 Mini trên Azure AI Studio, Hugging Face và Ollama. Mô hình này được điều chỉnh theo hướng dẫn và tối ưu hóa cho ONNX Runtime với sự hỗ trợ cho Windows DirectML, cũng như hỗ trợ đa nền tảng trên các GPU, CPU và thậm chí cả phần cứng di động khác nhau.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://decrypt.co/227974/microsoft-phi-3-mini-small-ai-language-model