Meta ha presentato Code Llama, un modello di linguaggio di grandi dimensioni (large language model) all’avanguardia in grado di generare codice e linguaggio naturale a partire da prompt di testo.
Si tratta di una svolta rilevante nel campo dell’intelligenza artificiale applicata allo sviluppo di software, perché Code Llama rappresenta il primo modello linguistico open source (basato su Llama 2) specializzato nella generazione di codice ad aver raggiunto prestazioni pari a quelle offerte da altri servizi avanzati a pagamento.
Il modello specializzato di Meta è in grado di scrivere codice in diversi linguaggi di programmazione partendo da semplici descrizioni in linguaggio naturale. Può anche completare codice esistente, debuggarlo e documentarlo. Queste capacità hanno il potenziale di rivoluzionare i flussi di lavoro degli sviluppatori software, rendendoli più efficienti e abbattendo le barriere per chi si avvicina alla programmazione.
I temi trattati all’interno dell’articolo
Disponibile gratuitamente per ricercatori e sviluppatori
Ciò che rende Code Llama particolarmente interessante è che Meta ha deciso di rilasciarlo con una licenza open source, rendendolo gratuitamente disponibile per qualsiasi scopo di ricerca o commerciale. Si tratta di una mossa insolita nel campo degli LLM, dove i modelli migliori sono di solito proprietari e ad accesso limitato.
L’approccio aperto di Meta mira – come dichiarato dalla stessa società – a promuovere innovazione e sicurezza, consentendo alla comunità di ricercatori e sviluppatori di valutare appieno le capacità di Code Llama, identificarne problematiche e contribuire a migliorarlo.
Tre versioni del modello per diversi casi d’uso
Sono disponibili tre diverse versioni di Code Llama, ognuno adatto a diversi casi d’uso.
- Code Llama: il modello base per la generazione di codice, addestrato su 500 miliardi di token di dati relativi alla programmazione, è disponibile in tre dimensioni: 7, 13 e 34 miliardi di parametri.
- Code Llama – Python: una versione specializzata per il linguaggio Python, ulteriormente ottimizzata attraverso il fine-tuning su 100 miliardi di token di codice Python.
- Code Llama – Instruct: una versione ottimizzata per comprendere le istruzioni in linguaggio naturale; un elemento che rende questa versione più adatta alla generazione di codice a partire prompt inseriti in modo più discorsivo.
Prestazioni superiori rispetto ad altri modelli open source
Nelle valutazioni condotte internamente, Code Llama ha superato altri modelli di linguaggio open source specializzati nella programmazione in benchmark relativi alla generazione di codice, ottenendo i punteggi più alti tra le soluzioni open source disponibili.
In particolare, nel benchmark HumanEval, la versione 34B ha ottenuto un punteggio del 53,7%, mentre nel benchmark MBPP un punteggio del 56,2%, superando altri modelli all’avanguardia e risultando alla pari con ChatGPT.
Sviluppato con un approccio responsabile
Meta afferma di aver seguito un approccio responsabile durante lo sviluppo di Code Llama, conducendo test di sicurezza e valutazioni di potenziali rischi. L’obiettivo della società nel corso del training del suo modello di linguaggio è stato quello di minimizzare i potenziali utilizzi dannosi, pur promuovendo gli usi positivi di questa tecnologia emergente.
Altre risorse
- Per provare Code Llama:
- Per approfondire:
