Microsoft behauptet, dass die neueste Version seines leichten KI-Modells Phi-3 Mini mit Konkurrenten wie GPT-3.5 konkurriert und gleichzeitig klein genug ist, um auf einem Telefon eingesetzt zu werden.
Phi-3 Mini ist ein Sprachmodell mit 3.8 Milliarden Parametern, das auf 3.3 Billionen Token trainiert wird. Diese Zahl ist höher als die 2.7 Milliarden Parameter von Phi-2, die Microsoft angegeben hat eingeführt im Dezember 2023.
Anstatt so viel wie möglich in die Trainingsmodelle zu schaufeln, lag der Fokus auf der Argumentation. Microsoft sagte: „Zum Beispiel könnte das Ergebnis eines Spiels in der Premier League an einem bestimmten Tag gute Trainingsdaten für Frontier-Modelle sein, aber wir müssen solche Informationen entfernen, um mehr Modellkapazität für die ‚Begründung‘ für die Mini-Modelle zu schaffen.“ .“
Der zielgerichtete Ansatz bedeutet, dass Phi-3 zwar nicht über die schiere Wissensbreite seiner Konkurrenten verfügt, aber in puncto Argumentation mindestens genauso gut, wenn nicht sogar besser ist, behauptet Microsoft. In einem Forschungsarbeit [PDF], Microsoft stellt fest, dass sein kleines Sprachmodell dadurch „das Niveau hochleistungsfähiger Modelle wie GPT-3.5 oder Mixtral mit nur 3.8 Milliarden Gesamtparametern erreichen konnte (während Mixtral beispielsweise 45 Milliarden Gesamtparameter hat)“.
Die Studie stellt außerdem fest, dass die verwendeten Trainingsdaten aus „stark gefilterten Webdaten … aus verschiedenen offenen Internetquellen“ und LLM-generierten Daten bestanden. Die zum Training von LLMs verwendeten Datenquellen sind Gegenstand von mehrere Klagen.
Die geringe Größe des Phi-3 Mini bedeute, dass er offline auf einem Smartphone laufen könne, heißt es. Forscher sagten, dass es etwa 1.8 GB Speicher belegen könnte und probierten es offline auf einem iPhone 14 mit einem A16 Bionic-Chip aus, der nativ auf einem Gerät läuft. In der Arbeit zeigen Forscher Screenshots von Phi-3 Mini, wie er ein Gedicht schreibt und Unternehmungen in Houston vorschlägt.
Die Forscher heben auch die Nachteile hervor, die mit der Fokussierung auf Sprachverständnis und Argumentation einhergehen. „Das Modell hat einfach nicht die Kapazität, zu viel ‚Faktenwissen‘ zu speichern“, was durch die Erweiterung um eine Suchmaschine bis zu einem gewissen Grad abgemildert werden kann. Dies würde jedoch den Sinn einer Offline-Ausführung zunichtemachen.
Die Sprache ist derzeit größtenteils auf Englisch beschränkt, und die mit den meisten LLMs verbundenen Probleme – Halluzinationen, Voreingenommenheitsverstärkung und die Generierung unangemessener Inhalte – sind auch in Phi-3 Mini zu finden.
Forscher sagen in dem Papier: „Es liegt noch viel Arbeit vor uns, um diese Herausforderungen vollständig anzugehen.“
Mit Phi-3 Small und Phi-3 Medium mit 7 bzw. 14 Milliarden Parametern sind – relativ gesehen – auch größere Modelle angekündigt.
Victor Botev, CTO und Mitbegründer von Iris.ai, sagte uns: „Die Ankündigung des Phi-3-Modells durch Microsoft stellt einen anhaltenden Trend in der KI-Entwicklung dar. Anstatt immer größeren Modellen hinterherzujagen, entwickelt Microsoft Tools mit sorgfältig kuratierten Daten und spezialisierter Schulung. Dies ermöglicht eine verbesserte Leistung und Argumentationsfähigkeiten ohne die enormen Rechenkosten von Modellen mit Billionen Parametern. Die Erfüllung dieses Versprechens würde bedeuten, dass eine große Hürde für die Einführung von KI-Lösungen für Unternehmen abgebaut wird.
„Microsoft blickt klugerweise über die ‚Größer ist besser‘-Denkweise hinaus. Für weit verbreitete KI-Anwendungen für Unternehmen und Verbraucher sind Machbarkeit und Spezifität wichtiger als eine große Anzahl von Parametern. Modelle wie Phi-3 zeigen deutlich, dass fortschrittliche KI-Funktionen mit dem richtigen Daten- und Trainingsansatz nicht den Aufbau immer größerer Modelle erfordern müssen – ein entscheidender Faktor für Unternehmen, bei denen das Kosten-Qualitäts-Verhältnis von entscheidender Bedeutung ist.“ ®
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
