Opera הוסיפה תמיכה ניסיונית להפעלת מודלים של שפה גדולה (LLMs) באופן מקומי בדפדפן Opera One Developer כחלק מתוכנית AI Feature Drop שלה.
בלעדי כרגע לגרסת המפתחים של Opera One, דפדפן האינטרנט הראשי של Opera, העדכון מוסיף 150 LLMs שונים מ-50 משפחות LLM שונות, כולל LLaMA, Gemma ו- Mixtral. בעבר, Opera הציעה תמיכה רק ב-LLM משלה, Aria, המיועד כצ'טבוט באותו אופן כמו Copilot של מיקרוסופט ו-ChatGPT של OpenAI.
עם זאת, ההבדל העיקרי בין Aria, Copilot (שרק שואף אליו סוג של הפעלה מקומית בעתיד), וצ'אטבוטים דומים של AI הוא שהם תלויים בחיבור דרך האינטרנט לשרת ייעודי. Opera אומרת שעם ה-LLMs המנוהלים באופן מקומי הוא נוסף ל-Opera One Developer, הנתונים נשארים מקומיים למחשבים האישיים של המשתמשים ואינם מצריכים חיבור לאינטרנט מלבד הורדת ה-LLM בהתחלה.
Opera גם שיערה מקרה שימוש פוטנציאלי עבור תכונת ה-LLM המקומית החדשה שלה. "מה אם הדפדפן של העתיד יוכל להסתמך על פתרונות AI המבוססים על הקלט ההיסטורי שלך תוך שהוא מכיל את כל הנתונים במכשיר שלך?" בעוד שחובבי פרטיות כנראה אוהבים את הרעיון שהנתונים שלהם רק נשמרים במחשבים האישיים שלהם ולא בשום מקום אחר, LLM מבוסס דפדפן שזוכר די הרבה אולי לא יהיה אטרקטיבי.
"זה כל כך קצה מדמם, שהוא עלול אפילו להישבר", אומר אופרה בלוג. אף על פי שהוא קשקוש, זה לא רחוק מהאמת. "בעוד שאנו מנסים לשלוח את הגרסה היציבה ביותר האפשרית, בניית מפתחים נוטים להיות ניסיוניים ועשויים להיות מעט תקולים", אמר סמנכ"ל האופרה, יאן סטנדל. הקופה.
לגבי מתי תכונת LLM מקומית זו תגיע ל-Opera One הרגילה, סטנדל אמר: "אין לנו ציר זמן מתי או איך תכונה זו תוצג לדפדפני האופרה הרגילים. עם זאת, המשתמשים שלנו צריכים לצפות שתכונות שהושקו בתוכנית AI Feature Drop ימשיכו להתפתח לפני שהם יוצגו לדפדפנים הראשיים שלנו."
מכיוון שיכול להיות די קשה להתחרות בשרתים גדולים המצוידים במעבדי GPU מתקדמים מחברות כמו Nvidia, אופרה טוענת שמעבר מקומי יהיה "איטי במידה ניכרת" מאשר שימוש ב-LLM מקוון. בלי צחוק.
עם זאת, אחסון עשוי להיות בעיה גדולה יותר עבור אלה שרוצים לנסות הרבה LLMs. Opera אומר שכל LLM דורש בין שניים לעשרה גיגה-בייט של אחסון, וכאשר חיטטנו ב-Opera One Developer, זה היה נכון עבור הרבה LLMs, שחלקם היו בגודל של כ-1.5 GB.
עם זאת, שפע של LLMs הניתנים דרך Opera One דורשים הרבה יותר מ-10 GB. רבים מהם היו באזור 10-20 GB, חלקם היו בערך 40 GB, ואפילו מצאנו אחד, Megadolphin, בגודל כבד של 67 GB. אם רצית לדגום את כל 150 הזנים של LLMs הכלולים ב-Opera One Developer, ה-SSD הסטנדרטי של 1 TB כנראה לא יצליח לחתוך את זה.
למרות המגבלות הללו, זה כן אומר ש-Opera One (או לפחות ענף המפתחים) הוא הדפדפן הראשון שמציע פתרון להפעלת LLMs מקומית. זה גם אחד הפתרונות הבודדים בכלל להביא LLMs מקומית למחשבים, לצד הצ'אטבוט ChatWithRTX של Nvidia וכן קומץ אפליקציות אחרות. למרות שזה קצת אירוני שדפדפן אינטרנט מגיע עם התפשטות מרשימה של צ'טבוטים של AI שמפורשות לא מחייבים את האינטרנט לעבוד. ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/04/03/opera_local_llm/
