Lors d'un événement très médiatisé sur l'IA à Londres, les dirigeants de Meta ont fourni mardi la première confirmation officielle et des détails sur la sortie imminente de Llama 3, la prochaine itération très attendue du grand modèle de langage open source de l'entreprise.
"Au cours du mois prochain, en fait moins, et espérons-le dans un laps de temps très court, nous espérons commencer à déployer notre nouvelle suite de modèles de fondations de nouvelle génération, Llama 3", a annoncé Nick Clegg, président des affaires mondiales de Meta, à Meta. Journée de l'IA à Londres, rapporté TechCrunch.
Clegg a déclaré que Llama 3 se compose « d'un certain nombre de modèles différents avec des capacités différentes et des polyvalences différentes » qui commenceront à être déployés cette année.
Une fois lancé, Llama 3 est attendu être le modèle open source le plus avancé disponible, Meta investissant massivement dans son développement. Le modèle a été entraîné avec 140 milliards de paramètres, dit Meta, soit deux fois la capacité de Llama 2. Le PDG de Meta, Mark Zuckerburg, avait taquiné certains détails techniques en janvier.
"Nous construisons une infrastructure de calcul massive pour prendre en charge notre future feuille de route, y compris 350 100 H600 d'ici la fin de cette année, et au total près de 100 4 équivalents de calcul HXNUMX si vous incluez d'autres GPU", a déclaré Zuckerberg à l'époque. Cette quantité de puissance de calcul est nettement supérieure à celle utilisée par OpenAI pour entraîner GPT-XNUMX, qui a été estimé nécessiter environ 25,000 90 GPU en 100 à XNUMX jours.
Zuckerberg aussi révélé que Meta AI, son assistant IA, devrait être alimenté par Llama 3.
Chris Cox, directeur des produits, a déclaré que Llama 3 sera intégré dans Meta.
"Notre plan sera que Llama 3 alimente plusieurs produits et expériences différents dans notre famille d'applications", a-t-il déclaré.
La stratégie open source
L'impact de la sortie de Llama 3 s'étend bien au-delà de Meta, étant donné l'engagement philosophique de l'entreprise à le développer en tant que modèle open source, ce qui contraste clairement avec l'approche fermée et propriétaire adoptée par des concurrents comme OpenAI avec ChatGPT.
En open source ses modèles de langage, Meta vise à nourrir un écosystème de développement d'IA ouvert et à positionner la famille Llama comme la base d'une gamme diversifiée d'outils et d'applications créés par des développeurs et des chercheurs tiers.
"Il est très important de réaliser que les innovations s'appuient toujours sur des contributions antérieures d'autres personnes, parfois très similaires", a tweeté le mois dernier Yann LeCun, responsable de la recherche en IA chez Meta. « C’est pourquoi la recherche ouverte est si importante : elle permet à tout le monde de progresser plus rapidement dans ce domaine. »
Ce philosophie ouverte a déjà engendré une communauté dynamique se rassemblant autour de Llama. Certains des modèles de langage open source les plus avancés aujourd'hui, tels que Mistral, Falcon, et Beluga, sont construits en affinant le modèle de fondation précédent de Llama 2. Plusieurs de ces modèles communautaires ont égalé ou surpassé GPT-3.5 sur certains critères de référence.
La sortie de Llama-3 en tant qu'autre modèle fondamental open source ouvre probablement la voie à une nouvelle génération de LLM qui placera la barre encore plus haut en termes de qualité et d'efficacité en matière d'IA.
Remettre en question la domination d’OpenAI
Le principe open source de Llama 3 pose un défi formidable et à plusieurs niveaux à la domination actuelle du marché d'OpenAI et, par extension, à d'autres modèles propriétaires comme Claude et Gemini.
La communauté open source sera bientôt en mesure de s'appuyer sur Llama 3 et d'itérer rapidement ses variantes pour potentiellement égaler ou dépasser les capacités de GPT-4– tout comme ils l’ont fait contre GPT-3.5. Avec des coûts de formation inférieurs partagés entre les contributeurs, l'écosystème ouvert pourrait dépasser le développement de modèles propriétaires d'OpenAI, qui nécessite d'immenses ressources et coûts de calcul.
Si les offres open source atteignent régulièrement la parité avec les offres commerciales, les entreprises pourraient se tourner vers des écosystèmes plus accessibles et plus rentables comme Llama plutôt que de compter et de payer pour OpenAI. Actuellement, GPT-4 est le modèle le plus cher du marché en termes de coût par jeton.
De plus, la communauté open source se renforce à mesure que de plus en plus de personnes s'y impliquent. Meta bénéficie du fait qu'une énorme communauté se construit au-dessus du modèle, le peaufine, développe de nouvelles technologies et l'améliore gratuitement. Cela permet à Meta de développer plus facilement de meilleures versions de son modèle tout en le monétisant grâce à des programmes alternatifs tels que l'autoriser pour une utilisation commerciale par les grandes industries.
En d’autres termes, l’inertie continue et les effets de réseau pourraient rendre plus difficile l’attraction des utilisateurs et des clients par les modèles propriétaires d’OpenAI à l’avenir.
Certes, OpenAI détient actuellement une forte avance en termes de rentabilité. Anthropic peut se vanter d'avoir le LLM le plus performant dans le domaine de l'IA. Mais Llama 3 représentera une autre frappe stratégique de Meta pour bouleverser le paysage de l’IA générative.
Bien sûr, tout dépend des performances réelles de Llama 3 et de son adoption au cours de l’année à venir. Mais la communauté de l’IA open source est très active – et adore déjà Llama-2. Les choses vont devenir très intéressantes dans les prochains mois, notamment avec le GPT-5 d'OpenAI Juste au coin de la rue.
Édité par Ryan Ozawa.
Restez au courant des actualités cryptographiques, recevez des mises à jour quotidiennes dans votre boîte de réception.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://decrypt.co/225814/llama-3-is-coming-in-may-should-openai-be-worried
