מיקרוסופט היום נתבע כי היא הוציאה את "המודלים הקטנים של השפה הקטנה (SLMs) המסוגלים והחסכוניים ביותר הזמינים", אומר פי-3- האיטרציה השלישית שלו משפחת פי של דגמי שפות קטנות (SLMs) - מתעלה על דגמים בגודל דומה וכמה גדולים יותר.
מודל שפה קטן (SLM) הוא סוג של מודל AI שנועד להיות יעיל ביותר בביצוע משימות ספציפיות הקשורות לשפה. בניגוד למודלים של שפה גדולה (LLMs), אשר מתאימים היטב למגוון רחב של משימות כלליות, SLMs בנויים על מערך נתונים קטן יותר כדי להפוך אותם ליעילים וחסכוניים יותר עבור מקרי שימוש ספציפיים.
Phi-3 מגיע בגרסאות שונות, הסבירה מיקרוסופט, כשהקטנה ביותר היא Phi-3 Mini, דגם של 3.8 מיליארד פרמטרים מאומן על 3.3 טריליון אסימונים. למרות גודלו הקטן יחסית - הקורפוס של Llama-3 שוקל מעל 15 טריליון אסימוני נתונים - Phi-3 Mini עדיין מסוגל להתמודד עם 128K אסימוני הקשר. זה הופך אותו להשוואה ל-GPT-4 ומנצח את Llama-3 ומיסטראל לארג' מבחינת קיבולת האסימונים.
במילים אחרות, גיבורי בינה מלאכותית כמו Llama-3 ב-Meta.ai ומיסטראל לארג' עלולים לקרוס אחרי צ'אט ארוך או להנחות הרבה לפני שהדגם הקל הזה יתחיל להיאבק.
אחד היתרונות המשמעותיים ביותר של Phi-3 Mini הוא היכולת שלו להתאים ולרוץ על סמארטפון טיפוסי. מיקרוסופט בדקה את הדגם באייפון 14, והוא פעל ללא בעיות, ויצר 14 אסימונים בשנייה. הפעלת Phi-3 Mini דורשת רק 1.8GB של VRAM, מה שהופך אותה לאלטרנטיבה קלת משקל ויעילה עבור משתמשים עם דרישות ממוקדות יותר.
בעוד ש-Phi-3 Mini אולי לא מתאים לקודנים מתקדמים או לאנשים עם דרישות רחבות, הוא יכול להוות אלטרנטיבה יעילה עבור משתמשים עם צרכים ספציפיים. לדוגמה, סטארט-אפים שזקוקים לצ'אט בוט או אנשים הממנפים LLMs לניתוח נתונים יכולים להשתמש ב-Phi-3 Mini למשימות כמו ארגון נתונים, חילוץ מידע, חשיבה מתמטית ובניית סוכנים. אם ניתנת לדגם גישה לאינטרנט, הוא יכול להיות חזק למדי, ולפצות על חוסר היכולות שלו עם מידע בזמן אמת.
Phi-3 Mini משיגה ציוני מבחן גבוהים הודות להתמקדות של מיקרוסופט באיסוף מערך הנתונים שלה עם המידע הכי שימושי שאפשר. משפחת פי הרחבה יותר, למעשה, אינה טובה למשימות הדורשות ידע עובדתי, אך כישורי חשיבה גבוהים מציבים אותה מעל המתחרים הגדולים. Phi-3 Medium (דגם של 14 מיליארד פרמטרים) מנצח בעקביות LLMs חזקים כמו GPT-3.5 - ה-LLM המניע את הגרסה החינמית של ChatGPT - וגרסת המיני מנצחת דגמים רבי עוצמה כמו Mixtral-8x7B ברוב המדדים הסינתטיים.
עם זאת, ראוי לציין ש-Phi-3 אינו קוד פתוח כמו קודמו, Phi-2. במקום זאת, מדובר ב- דגם פתוח, כלומר הוא נגיש וזמין לשימוש, אך אין לו את אותו רישוי קוד פתוח כמו Phi-2, המאפשר שימוש רחב יותר ויישומים מסחריים.
בשבועות הקרובים, מיקרוסופט אמרה שהיא תשחרר דגמים נוספים במשפחת ה-Phi-3, כולל Phi-3 Small (7 מיליארד פרמטרים) וה-Phi-3 Medium הנ"ל.
מיקרוסופט הפכה את Phi-3 Mini לזמינה ב- Azure AI Studio, Hugging Face ו- Ollama. הדגם מותאם להוראות ומוטב עבור ONNX Runtime עם תמיכה ב-Windows DirectML, כמו גם תמיכה בפלטפורמות שונות על פני GPU, CPU, ואפילו חומרה ניידת.
