מיקרוסופט טוענת שהגלגול האחרון של דגם ה-Phi-3 Mini AI קל המשקל שלה מתחרה במתחרים כמו GPT-3.5 בעוד שהוא קטן מספיק כדי להיפרס בטלפון.
Phi-3 Mini הוא מודל שפה של 3.8 מיליארד פרמטרים שאומן על 3.3 טריליון אסימונים. נתון זה עולה מ-2.7 מיליארד הפרמטרים של Phi-2, שמיקרוסופט הציג בדצמבר 2023.
במקום לגרוף כמה שיותר למודלים של האימון, ההתמקדות הייתה בהיגיון. מיקרוסופט אמרה: "כדוגמה, התוצאה של משחק בפרמייר ליג ביום מסוים עשויה להיות נתוני אימון טובים עבור דגמי חזית, אבל אנחנו צריכים להסיר מידע כזה כדי להשאיר יותר קיבולת דגמים ל"נימוקים" עבור דגמי הגודל המיני. ."
משמעות הגישה הממוקדת היא שאולי ל-Phi-3 אין את רוחב הידע של מתחרותיה, היא טובה לפחות באותה מידה, אם לא טובה יותר, בכל הנוגע להנמקה, או כך טוענת מיקרוסופט. ב עבודת מחקר [PDF], מיקרוסופט מציינת שזה איפשר למודל השפה הקטן שלה "להגיע לרמה של דגמים בעלי יכולת גבוהה כגון GPT-3.5 או Mixtral עם פרמטרים בסך 3.8B בלבד (בעוד ל-Mixtral יש 45B פרמטרים בסך הכל למשל)."
המחקר גם מציין כי נתוני ההדרכה בהם נעשה שימוש כללו "נתוני אינטרנט מסוננים בכבדות... ממקורות אינטרנט פתוחים שונים" ונתונים שנוצרו על ידי LLM. מקורות הנתונים המשמשים להכשרת LLMs הם הנושא של מספר תביעות משפטיות.
הגודל הקטן של Phi-3 Mini אומר שהוא יכול לפעול במצב לא מקוון בסמארטפון, כך נאמר לנו. חוקרים אמרו שניתן לגרום לו לתפוס כ-1.8 ג'יגה-בייט של זיכרון וניסו אותו במצב לא מקוון באייפון 14 עם שבב A16 Bionic הפועל באופן מקורי במכשיר. במאמר, החוקרים מראים צילומי מסך של Phi-3 Mini כותבת שיר ומציעה דברים לעשות ביוסטון.
החוקרים גם מדגישים את החסרונות הטמונים בהתמקדות בהבנת השפה וההיגיון. "למודל פשוט אין את היכולת לאחסן יותר מדי 'ידע עובדתי'", משהו שניתן להפחית במידה מסוימת על ידי הגדלתו עם מנוע חיפוש. עם זאת, זה יביס את הנקודה של היכולת להפעיל אותו במצב לא מקוון.
השפה מוגבלת בעיקר לאנגלית כיום, ובעיות הגלומות ברוב ה-LLMs - הזיות, הגברה הטיה ויצירת תוכן לא הולם - ניתן למצוא גם ב-Phi-3 Mini.
חוקרים אומרים במאמר: "ישנה עבודה משמעותית לפנינו להתמודדות מלאה עם האתגרים הללו."
דגמים גדולים יותר - יחסית - הוכרזו גם בצורת Phi-3 Small ו-Phi-3 Medium עם 7 ו-14 מיליארד פרמטרים בהתאמה.
ויקטור בוטב, CTO ומייסד שותף ב איריס.אי, אמר לנו: "ההכרזה של מיקרוסופט על מודל ה-Phi-3 מייצגת מגמה מתמשכת בפיתוח AI. במקום לרדוף אחרי מודלים גדולים מתמיד, מיקרוסופט מפתחת כלים עם נתונים שנאספו בקפידה יותר והכשרה מיוחדת. זה מאפשר ביצועים משופרים ויכולות חשיבה ללא עלויות חישוב מסיביות של מודלים עם טריליוני פרמטרים. מימוש הבטחה זו פירושו להפיל מחסום אימוץ עצום עבור עסקים המחפשים פתרונות AI.
"מיקרוסופט מסתכלת בחוכמה מעבר למחשבה 'גדול יותר הוא טוב יותר'. עבור יישומי AI עסקיים וצרכניים נרחבים, כדאיות וספציפיות חשובות יותר מספירת פרמטרים מסיבית. מודלים כמו Phi-3 מדגימים בבירור שעם גישת הנתונים וההדרכה הנכונים, יכולות בינה מלאכותית מתקדמות אינן מצריכות בניית מודלים גדולים מתמיד - גורם מכריע לעסקים שבהם היחס בין עלות לאיכות הוא קריטי". ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
