Microsoft aujourd'hui revendiqué qu'il a publié « les petits modèles de langage (SLM) les plus performants et les plus rentables disponibles », affirmant Phi-3—la troisième itération de son Famille Phi de petits modèles de langage (SLM) : surclasse les modèles de taille comparable et quelques modèles plus grands.
Un Small Language Model (SLM) est un type de modèle d'IA conçu pour être extrêmement efficace pour effectuer des tâches spécifiques liées au langage. Contrairement aux grands modèles linguistiques (LLM), qui conviennent bien à un large éventail de tâches génériques, les SLM sont construits sur un ensemble de données plus petit pour les rendre plus efficaces et plus rentables pour des cas d'utilisation spécifiques.
Phi-3 est disponible en différentes versions, a expliqué Microsoft, la plus petite étant Phi-3 Mini, un modèle de 3.8 milliards de paramètres formé sur 3.3 billions de jetons. Malgré sa taille relativement petite, le corpus de Llama-3 pèse plus de 15 billions jetons de données : le Phi-3 Mini est toujours capable de gérer 128 4 jetons de contexte. Cela le rend comparable à GPT-3 et bat Llama-XNUMX et Mistral Large en termes de capacité de jetons.
En d’autres termes, les géants de l’IA comme Llama-3 sur Meta.ai et Mistral Large pourraient s’effondrer après une longue conversation ou une invite bien avant que ce modèle léger ne commence à se débattre.
L'un des avantages les plus importants du Phi-3 Mini est sa capacité à s'adapter et à fonctionner sur un smartphone classique. Microsoft a testé le modèle sur un iPhone 14 et il a fonctionné sans problème, générant 14 jetons par seconde. L'exécution du Phi-3 Mini ne nécessite que 1.8 Go de VRAM, ce qui en fait une alternative légère et efficace pour les utilisateurs ayant des besoins plus ciblés.
Bien que le Phi-3 Mini ne soit pas aussi adapté aux codeurs haut de gamme ou aux personnes ayant des exigences étendues, il peut constituer une alternative efficace pour les utilisateurs ayant des besoins spécifiques. Par exemple, les startups qui ont besoin d'un chatbot ou les personnes utilisant des LLM pour l'analyse des données peuvent utiliser Phi-3 Mini pour des tâches telles que l'organisation des données, l'extraction d'informations, le raisonnement mathématique et la création d'agents. Si le modèle dispose d'un accès à Internet, il peut devenir assez puissant, compensant son manque de capacités avec des informations en temps réel.
Phi-3 Mini obtient des résultats élevés aux tests grâce à l'accent mis par Microsoft sur la conservation de son ensemble de données avec les informations les plus utiles possibles. En fait, la famille Phi au sens large n'est pas adaptée aux tâches qui nécessitent des connaissances factuelles, mais des capacités de raisonnement élevées la positionnent au-dessus des principaux concurrents. Phi-3 Medium (un modèle de 14 milliards de paramètres) bat systématiquement les puissants LLM comme GPT-3.5 – le LLM qui alimente la version gratuite de ChatGPT – et la version Mini bat les modèles puissants comme Mixtral-8x7B dans la majorité des benchmarks synthétiques.
Il convient toutefois de noter que Phi-3 n'est pas open source comme son prédécesseur, Phi-2. Il s'agit plutôt d'un modèle ouvert, ce qui signifie qu'il est accessible et disponible, mais il ne dispose pas de la même licence open source que Phi-2, ce qui permet une utilisation plus large et des applications commerciales.
Dans les semaines à venir, Microsoft a annoncé qu'il lancerait davantage de modèles dans la famille Phi-3, notamment le Phi-3 Small (7 milliards de paramètres) et le Phi-3 Medium susmentionné.
Microsoft a rendu Phi-3 Mini disponible sur Azure AI Studio, Hugging Face et Ollama. Le modèle est réglé sur les instructions et optimisé pour ONNX Runtime avec la prise en charge de Windows DirectML, ainsi que la prise en charge multiplateforme sur différents GPU, CPU et même matériel mobile.
Restez au courant des actualités cryptographiques, recevez des mises à jour quotidiennes dans votre boîte de réception.
