Generativ dataintelligens

Meta avslöjar Llama-3 – Vi sätter den nya toppmodellen för öppen källkod AI på prov – Dekryptera

Datum:

Meta has released of Llama 3, the most advanced open source large language model currently available. It builds upon the foundation laid by its predecessor, Llama 2, and came as a surprise considering that rumors suggested that the release would happen next month.

With its open-source roots, Llama-2 was instrumental in the concurrent development of other powerful models such as Mixtral, Alpaca, Vicuna, and WizardLM. Now, Llama-3 promises to take these capabilities even further, offering functionalities comparable to those of OpenAI’s current flagship AI model GPT-4.

meta hailed Thursday’s release as “the next generation of our state-of-the-art open source large language model.” So confident is the tech giant in its capabilities, Llama 3 is powering Meta ai, which in turn was added to almost all of the company’s massively popular apps: Instagram, Facebook, and WhatsApp. It has been made available in select countries, but users in other regions could access it via VPN.

Meta AI:s Chatbot-gränssnitt är jämförbart med ChatGPT Plus - och det är gratis.

“We’re upgrading Meta AI with our new state-of-the-art Llama 3 AI model, which we’re open sourcing,” Mark Zuckerberg sade in a Facebook post. “With this new model, we believe Meta AI is now the most intelligent AI assistant that you can freely use.”

Avkryptera kunde testa den nya AI och fann att den var lika kapabel som ChatGPT-Plus utan ett betalabonnemang. Det kan generera bilder och animationer, producera kod och ge sammanhängande, kontextuellt relevanta svar. Den nya chatboten kan också komma åt internet, men den är fortfarande ingen match mot kapaciteten hos specialiserade lösningar som Perplexity.

Den enda nackdelen är kanske att Llama-3:s nuvarande kontextfönster är begränsat till 8K tokens — runt 6,000 XNUMX ord.

Meta släppte visserligen en Llama-70-modell med 3 miljarder parametrar, men att använda den skulle kräva stor datorkraft – förmodligen ett helt rack med GPU:er. Enligt syntetiska riktmärken slår denna modell Gemini 1.5 Pro och Claude 3 Sonnet.

Det finns också en 8-miljarder parametermodell tillgänglig, som kan köras lokalt på konsumentklassade GPU:er. Den här slår Googles Gemma och Mistral 7B i olika syntetiska riktmärken. Modellen har ännu inte listats i LLM Arena, så det finns ingen subjektiv ELO-poäng att rapportera ännu.

Llama 3 vs andra AI LLMs
Bild: Meta

Båda modellerna kan även köras i molninstanser till lägre kostnad.

"Vi är dedikerade till att utveckla Llama 3 på ett ansvarsfullt sätt, och vi erbjuder olika resurser för att hjälpa andra att använda det på ett ansvarsfullt sätt också," sa Meta. Detta inkluderar introduktionen av nya förtroende- och säkerhetsverktyg som Llama Guard 2, Code Shield och CyberSec Eval 2.

Under de kommande månaderna säger Meta att de planerar att introducera nya funktioner, längre sammanhangsfönster, ytterligare modellstorlekar och förbättrad prestanda. Forskningsuppsatsen Llama 3 kommer också att delas.

"Meta AI, byggd med Llama 3-teknik, är nu en av världens ledande AI-assistenter som kan öka din intelligens och lätta på din belastning - hjälper dig att lära dig, få saker gjorda, skapa innehåll och ansluta för att få ut det mesta av varje ögonblick ", sa Meta.

Meta tillade att det också tränar en massiv 400-miljarder parametermodell, som förväntas släppas senare i år. Denna modell – troligen jämförbar med Claude Opus eller den senaste versionen av GPT-4.5 – kan vara den mest kraftfulla modellen med öppen källkod hittills. Om historien upprepar sig kommer den också att fungera som en bas för en ny generation av finjusterade modeller som kommer att slå Llama-3 i övergripande kvalitet – och kommer att öka konkurrensen mot de ledande modellerna med nära källkod.

Rider på lama

Avkryptera testade Llama-3 inuti Meta AI för att se om den var så bra som Zuck säger. Kort sagt, Llama-3 har introducerat ett antal anmärkningsvärda funktioner och möjligheter och borde vara en bra grundmodell som öppen källkodsgemenskapen kan iterera på.

Innehållsmoderering

Llama-3 visar ett starkt engagemang för innehållsmoderering. Den vägrade konsekvent att generera skadligt rasinnehåll, även när den stod inför vanliga jailbreak-tekniker.

Till exempel, när modellen tillfrågades om instruktioner om hur man förför en kvinna, gav den generiska men användbara svar. Men när modellen blev tillfrågad om instruktioner om hur man förför en bästa väns fru, vägrade modellen bestämt att ge ett svar.

Bilder och animationer

I likhet med ChatGPT-Plus kan Meta AI med Llama-3 generera bilder. Det tar dock denna förmåga ett steg längre genom att erbjuda möjligheten att animera dem - en funktion som inte är tillgänglig i ChatGPT eller Gemini.

Bilderna som genereras av Meta AI med Llama-3 är mer realistiska än de som produceras av Dalle-3, men de håller inte kvaliteten på bilder som genereras av Googles kommande ImageFX.

Kodningsmöjligheter

Llama-3 har visat sig mycket skicklig i kodning. När modellen presenterades med en unik och dåligt förklarad spelidé, kunde modellen generera den nödvändiga Python-koden i två försök, vilket resulterade i ett funktionellt spel. Det första skottet gav oss en ungefärlig uppfattning om hur man skapar spelet, men det skapade fungerande kod efter att vi klargjorde att vi behövde det i Python.

Spelet var funktionellt men missade några mindre detaljer, som att starta om efter att en spelare vunnit. Detsamma hände dock med andra chatbots.

Vi har funnit att Claude 3 Sonnet är det bästa verktyget för denna uppgift, följt av Llama 3. GPT-4 faller till tredje plats. Men olika användare kan få olika resultat.

Här är en pastebin with the source codes generated by Llama3, Claude, and ChatGPT for those interested in testing them out.

Politisk neutralitet

Modellen syftar till politisk neutralitet, vilket framgår av dess svar på frågor om kapitalism och kommunism. Svaren var strukturellt lika och gav en introduktion, för- och nackdelar för varje system.

Detta neutralitetsmönster observerades också i svar på frågor som "Vad är en man?" och "Vad är en kvinna?"

Still, its responses are slightly pro-capitalism and left-leaning, which is unsurprising as it’s the most common political tendency among large language models.

Logiskt resonemang

Llama-3 har visat kraftfulla logiska resonemangsförmåga. När den testades med komplexa LSAT-frågor som ofta förvirrar användare, gav modellen inte bara korrekta svar utan gav också tydliga och rimliga förklaringar.

Långa snabba gränser

Trots sina många styrkor kämpar Llama-3 med långa uppmaningar. När modellen presenterades med en lång uppmaning på cirka en och en halv sida av sammanhang – som kan tas in av modeller som GPT-4, Claude eller Mistral – returnerade modellen ett felmeddelande.

Språkförståelse

Modellen visar en stark förståelse för olika språk. När den blev ombedd att översätta en spansk slogan gav den inte bara en korrekt översättning utan erbjöd också sammanhang för att bättre förstå sloganen.

Slutsats

Som ett chatbot-gränssnitt kan Meta AI (som drivs av Llama3) tävla mot ChatGPT Plus och är överlag ett utmärkt val.

På en mer teknisk nivå är LLama3 som LLM tillräckligt bra för att tävla mot GPT-4 i olika scenarier, och förlorar bara i termer av tokenkontextkapacitet och Retrieval Augmented Generations (som i princip hämtar information från en specifik datauppsättning som tillhandahålls av användaren). Detta kan vara viktigt för tekniskt kunniga användare, men kanske inte är en stor sak för den vanliga personen.

Om du i första hand använder ChatGPT för att generera bilder med Dall-E, kanske du vill överväga att avbryta ditt abonnemang, eftersom Llama-3:s bild- och animationsgenereringsmöjligheter är jämförbara. Men om du också behöver stöd för långa uppmaningar kanske Llama-3 inte är det bästa valet för dig och du kanske vill överväga att hålla dig till ChatGPT-Plus.

Enstaka användare kan upptäcka att Llama-3 uppfyller deras behov utan att behöva ett betalmedlemskap.

För uppgifter som kräver tung internetforskning kan ChatGPT Plus eller Perplexity vara mer lämpliga.

Slutligen, om ditt fokus ligger på kodning, kan Llama-3 vara ett bra alternativ, även om det finns andra specialiserade verktyg tillgängliga. Det faktum att Llama-3 är gratis är en betydande fördel.

Redigerad av Ryan Ozawa.

Håll dig uppdaterad om kryptonyheter, få dagliga uppdateringar i din inkorg.

plats_img

Senaste intelligens

plats_img

Chatta med oss

Hallå där! Hur kan jag hjälpa dig?