Trends

News - Trend trimestrale

Volume trimestrale

... ..%

Volume semestrale

... ..%

Leaderboard: comparazione tra modelli

Nella nostra leaderboard, mappiamo i principali modelli di linguaggio sviluppati e rilasciati dalle aziende di punta operanti nel settore dell’intelligenza artificiale. 

La tabella raccoglie i risultati di diverse valutazioni operate attraverso una serie di benchmark in grado di rappresentare in modo comprensivo le funzionalità e i livelli di efficienza dei large language model in esame, dalle abilità matematiche al ‘ragionamento’, fino alla capacità di elaborazione del testo. A ogni modello riportato nella leaderboard è dedicata una pagina di approfondimento. 

La mappatura include modelli gratuiti e a pagamento ed è aggiornata nel tempo, in modo da seguire l’evoluzione e i trend del settore. 

Modello MMLU (EM) MATH (EM) GSM8k (EM) HellaSwag (Accuracy) ARC (Accuracy) WinoGrande (Accuracy)
GPT-4 72% 80% 93% 95% 96% 88%
GPT-3.5 59% 45% 62% 86% 85% 82%
Gemini-Pro 71% 33% 87% 85% - -
Llama 2 58% 32% 70% 85% 56% 77%
Claude 3 Opus - 73% 95% 95% 96% 88%

In Evidenza


Quando le relazioni sono artificiali

Da un partner virtuale a una conversazione con una persona…

Chi fermerà l’AI? Riflessione sull’appello di Musk

Elon Musk e altri mille esperti chiedono una pausa di…

Elon Musk e altri mille esperti: “Allarme intelligenza artificiale”

Elon Musk e altri mille esperti hanno chiesto di sospendere…

Microsoft 365 Copilot, un’AI generativa per la produttività

Microsoft ha lanciato 365 Copilot, un servizio di intelligenza artificiale…

OpenAI rilascia GPT-4, più potente e multimodale

GPT-4 è arrivato. Un modello multimodale e con 100 trilioni…