Intelligenza generativa dei dati

Meta svela Llama-3: mettiamo alla prova il nuovo modello AI open source di punta – Decrypt

Data:

Meta ha rilasciato Llama 3, il modello di linguaggio di grandi dimensioni open source più avanzato attualmente disponibile. Si basa sulle fondamenta gettate dal suo predecessore, Llama 2, ed è stata una sorpresa considerando che le voci suggerivano che il rilascio avverrebbe il mese prossimo.

Con le sue radici open source, Llama-2 è stato determinante nello sviluppo simultaneo di altri potenti modelli come Mixtral, Alpaca, Vigogna e WizardLM. Ora, Llama-3 promette di portare queste capacità ancora oltre, offrendo funzionalità paragonabili a quelle dell’attuale modello AI di punta di OpenAI, GPT-4.

Meta ha salutato il rilascio di giovedì come "la prossima generazione del nostro modello di linguaggio di grandi dimensioni open source all'avanguardia". Il gigante della tecnologia è così fiducioso nelle sue capacità che Llama 3 lo sta potenziando Meta IA, che a sua volta si è aggiunto a quasi tutti quelli dell'azienda app estremamente popolari: Instagram, Facebook e WhatsApp. È stato reso disponibile in paesi selezionati, ma gli utenti di altre regioni possono accedervi tramite VPN.

L'interfaccia Chatbot di Meta AI è paragonabile a ChatGPT Plus ed è gratuita.

"Stiamo aggiornando Meta AI con il nostro nuovo modello di intelligenza artificiale all'avanguardia Llama 3, di cui siamo open source", Mark Zuckerberg disse in un post su Facebook. "Con questo nuovo modello, crediamo che Meta AI sia ora l'assistente AI più intelligente che puoi utilizzare liberamente."

decrypt ha potuto testare la nuova intelligenza artificiale e l'ha trovata capace quanto ChatGPT-Plus senza abbonamento a pagamento. Può generare immagini e animazioni, produrre codice e fornire risposte coerenti e contestualmente rilevanti. Il nuovo chatbot può anche accedere a Internet, ma non è ancora in grado di competere con le capacità di soluzioni specializzate come Perplexity.

Forse l'unico svantaggio è che l'attuale finestra di contesto di Llama-3 è limitata a 8 token, ovvero circa 6,000 parole.

Meta ha rilasciato un modello Llama-70 da 3 miliardi di parametri, ma utilizzarlo richiederebbe una notevole potenza di calcolo, probabilmente un intero rack di GPU. Secondo i benchmark sintetici, questo modello batte Gemini 1.5 Pro e Claude 3 Sonnet.

È disponibile anche un modello da 8 miliardi di parametri, che può essere eseguito localmente su GPU di livello consumer. Questo batte Gemma e Mistral 7B di Google in vari benchmark sintetici. Il modello non è ancora stato elencato nella LLM Arena, quindi non esiste ancora un punteggio ELO soggettivo da segnalare.

Llama 3 contro altri LLM AI
Immagine: Meta

Entrambi i modelli possono anche essere eseguiti in istanze cloud a un costo inferiore.

"Ci dedichiamo allo sviluppo di Llama 3 in modo responsabile e offriamo varie risorse per aiutare anche gli altri a utilizzarlo in modo responsabile", ha affermato Meta. Ciò include l’introduzione di nuovi strumenti di fiducia e sicurezza come Llama Guard 2, Code Shield e CyberSec Eval 2.

Nei prossimi mesi, Meta afferma di voler introdurre nuove funzionalità, finestre di contesto più lunghe, dimensioni di modelli aggiuntivi e prestazioni migliorate. Verrà condiviso anche il documento di ricerca Llama 3.

"Meta AI, realizzato con la tecnologia Llama 3, è ora uno degli assistenti AI leader a livello mondiale in grado di potenziare la tua intelligenza e alleggerire il tuo carico, aiutandoti a imparare, a portare a termine attività, a creare contenuti e a connetterti per sfruttare al massimo ogni momento." ", ha detto Meta.

Meta ha aggiunto che sta anche addestrando un enorme modello da 400 miliardi di parametri, che dovrebbe essere rilasciato entro la fine dell’anno. Questo modello, probabilmente paragonabile a Claude Opus o all'ultima versione di GPT-4.5, potrebbe essere il modello open source più potente fino ad oggi. Se la storia si ripete, servirà anche come base per una nuova generazione di modelli ottimizzati che batteranno Llama-3 in termini di qualità generale e aumenteranno la concorrenza contro i principali modelli Close Source.

In sella al lama

decrypt ho testato Llama-3 all'interno di Meta AI per vedere se era buono come dice Zuck. In breve, Llama-3 ha introdotto una serie di caratteristiche e capacità degne di nota e dovrebbe essere un ottimo modello fondamentale su cui la comunità open source può iterare.

Moderazione dei contenuti

Llama-3 dimostra un forte impegno nella moderazione dei contenuti. Si rifiutava costantemente di generare contenuti razzisti dannosi, anche di fronte alle comuni tecniche di jailbreak.

Ad esempio, quando alla modella è stato chiesto istruzioni su come sedurre una donna, ha fornito risposte generiche ma utili. Tuttavia, quando le è stato chiesto istruzioni su come sedurre la moglie del suo migliore amico, la modella si è rifiutata fermamente di fornire una risposta.

Immagini e animazioni

Simile a ChatGPT-Plus, Meta AI con Llama-3 è in grado di generare immagini. Tuttavia, questa funzionalità fa un ulteriore passo avanti offrendo la possibilità di animarli, una funzionalità non disponibile in ChatGPT o Gemini.

Le immagini generate da Meta AI con Llama-3 sono più realistiche di quelle prodotte da Dalle-3, ma non sono all'altezza della qualità delle immagini generate dal prossimo ImageFX di Google.

Capacità di codifica

Llama-3 si è dimostrato molto abile nella programmazione. Quando gli è stata presentata un'idea di gioco unica e mal spiegata, il modello è stato in grado di generare il codice Python necessario in due tentativi, ottenendo un gioco funzionale. La prima ripresa ci ha dato un'idea approssimativa di come creare il gioco, ma ha creato un codice funzionante dopo aver chiarito che ne avevamo bisogno in Python.

Il gioco era funzionale ma mancavano alcuni dettagli minori, come il riavvio dopo che un giocatore ha vinto. Lo stesso è successo con altri chatbot, però.

Abbiamo riscontrato che Claude 3 Sonnet è lo strumento migliore per questo compito, seguito da Llama 3. GPT-4 scende al terzo posto. Tuttavia, utenti diversi potrebbero ottenere risultati diversi.

Ecco un pastebin con i codici sorgente generati da Llama3, Claude e ChatGPT per coloro che sono interessati a testarli.

Neutralità politica

Il modello mira alla neutralità politica, come evidenziato dalle sue risposte alle domande sul capitalismo e sul comunismo. Le risposte erano strutturalmente simili e fornivano un'introduzione, vantaggi e svantaggi per ciascun sistema.

Questo modello di neutralità è stato osservato anche nelle risposte a domande come “Cos’è un uomo?” e "Cos'è una donna?"

Tuttavia, le sue risposte sono leggermente pro-capitalismo e di sinistra, il che non sorprende dato che è la soluzione più tendenza politica comune tra i grandi modelli linguistici.

Ragionamento logico

Llama-3 ha mostrato potenti capacità di ragionamento logico. Quando testato con domande LSAT complesse che spesso confondono gli utenti, il modello non solo ha fornito risposte corrette ma ha anche offerto spiegazioni chiare e ragionevoli.

Limiti di prompt lunghi

Nonostante i suoi numerosi punti di forza, Llama-3 ha difficoltà con i suggerimenti lunghi. Quando viene presentato un lungo messaggio di circa una pagina e mezza di contesto, che può essere inserito da modelli come GPT-4, Claude o Mistral, il modello restituisce un messaggio di errore.

Comprensione del linguaggio

Il modello dimostra una forte comprensione di diverse lingue. Quando è stato chiesto di tradurre uno slogan spagnolo, non solo ha fornito una traduzione accurata, ma ha anche offerto un contesto per comprendere meglio lo slogan.

Conclusione

Come interfaccia chatbot, Meta AI (basata su Llama3) può competere con ChatGPT Plus ed è nel complesso un'ottima scelta.

A un livello più tecnico, LLama3 come LLM è abbastanza buono per competere con GPT-4 in diversi scenari, perdendo solo in termini di capacità di contesto dei token e di recupero di generazioni aumentate (sostanzialmente estraendo informazioni da un set di dati specifico fornito dall'utente). Questo può essere importante per gli utenti esperti di tecnologia, ma potrebbe non essere un grosso problema per la persona comune.

Se utilizzi principalmente ChatGPT per generare immagini con Dall-E, potresti prendere in considerazione l'idea di annullare l'abbonamento, poiché le capacità di generazione di immagini e animazioni di Llama-3 sono comparabili. Tuttavia, se hai bisogno di supporto anche per istruzioni lunghe, Llama-3 potrebbe non essere la scelta migliore per te e potresti prendere in considerazione l'idea di restare con ChatGPT-Plus.

Gli utenti occasionali potrebbero scoprire che Llama-3 soddisfa le loro esigenze senza richiedere un abbonamento a pagamento.

Per attività che richiedono ricerche approfondite su Internet, ChatGPT Plus o Perplexity potrebbero essere più adatti.

Infine, se ti concentri sulla programmazione, Llama-3 potrebbe essere una buona alternativa, sebbene siano disponibili altri strumenti specializzati. Il fatto che Llama-3 sia gratuito è un vantaggio significativo.

A cura di Ryan Ozawa.

Rimani aggiornato sulle notizie crittografiche, ricevi aggiornamenti quotidiani nella tua casella di posta.

spot_img

L'ultima intelligenza

spot_img

Parla con noi

Ciao! Come posso aiutarla?