Trends

News - Trend trimestrale

Volume trimestrale

... ..%

Volume semestrale

... ..%

Il nostro test su GPT-3.5 vs GPT-4: qual è il migliore

ChatGPT - Test a test Edoardo Frasso 20 Febbraio 2024

7 minuti

Edoardo Frasso 20 Febbraio 2024
7 minuti

GPT-3, GPT-3.5 e GPT-4 sono tasselli fondamentali nella visione di OpenAI per migliorare e diffondere modelli linguistici all’avanguardia. Ciascuno di questi modelli possiede caratteristiche uniche e in questo articolo ci concentreremo in una comparazione sugli ultimi due, GPT-3.5 e GPT-4.

Il modello GPT-3.5

GPT-3.5, la cui formazione è stata completata entro l’inizio del 2022, è un modello text-to-text che funziona esclusivamente con input e output di testo semplice. Si tratta, già a partire dal suo nome, di un modello di transizione tra GPT-3 e GPT-4. È stato sviluppato con lo scopo di aumentare la velocità di funzionamento e ridurre i costi operativi.

Il modello GPT-4

GPT-4 è invece un modello multimodale in grado di gestire input e output sia di testo che di immagini. Lanciato da OpenAI nel marzo 2023, è più performante rispetto ai modelli precedenti, può mantenere conversazioni più lunghe e complesse commettendo meno errori. Offre maggiore affidabilità, creatività, collaborazione e una migliore comprensione delle istruzioni più sfumate. È inoltre abile nel comprendere e sviluppare particolarità linguistiche e sottotesti emotivi.

GPT-4 vs GPT-3.5

Come mostra la tabella, i modelli sono stati comparati secondo le misurazioni standard per la misurazione dei LLM. Alcuni di questi dataset di valutazione vertono su capacità logiche e matematiche, altri su capacità linguistiche e conversazionali.

I dataset utilizzati sono sei. La valutazione della comprensione multilinguistica su larga scala di nome MMLU; il dataset di matematica generale MATH; quello di 8000 problemi di matematica elementare di nome GSM8k (Grade School Math 8K); il test di comprensione linguistica di senso comune chiamato HellaSwag; le domande di scienze con ragionamenti multistep AI2 Reasoning Challenge e il dataset di problemi linguistici che si basa in particolare sulla sostituzione dei pronomi WinoGrande.

Tutti uniti, questi test danno una panoramica piuttosto dettagliata sul funzionamento di ogni modello linguistico di grandi dimensioni. I risultati di questo caso restituiscono una vittoria indiscutibile di GPT-4. L’evoluzione più importante interessa l’area matematico-logica (nel dataset di matematica generale migliora quasi del doppio).

I nostri test

Per testare i risultati riportati nella tabella, abbiamo deciso di mettere a confronto i due modelli attraverso alcune prove di logica.

Il primo quesito che sottoponiamo è: “La somma dell’età di 6 ragazzi è 64 anni. Quale sarà la somma delle loro età fra 6 anni?”. Entrambi i modelli danno la risposta corretta, 100 anni, esponendo lo stesso ragionamento.

Per la nostra seconda prova chiediamo: “ROMA sta ad AMOR come 6324 sta a?“. Le chat rispondono correttamente (4236), ma mentre GPT-4 chiude il ragionamento che porta al risultato con la frase estesa, GPT-3.5 chiude dicendo: “Quindi possiamo dire che 6324 sta ad 4236”, una frase con poco senso logico.

La terza domanda inizia ad essere più articolata. “A Giorgio piace 400 ma non 300, piace 100 ma non 99, piace 3600 ma non 3700. Quale di questi numeri gli piacerà? 900, 1000, 1100 o 1200?”. Qui avviene il primo vero distacco. Entrambi i modelli espongono il ragionamento giusto, ossia che pare che a Giorgio piacciano i numeri che sono quadrati perfetti. GPT-4, poi, risponde correttamente: 900. Ma il modello precedente stabilisce che 900 non è un perfetto quadrato e che quindi nessun numero è la risposta giusta, sbagliando.

La successiva è la più complessa di tutte: “In una gara da X a Y di andata e ritorno, Jack va a una media di 30km/h fino a Y e di 10 km/h per tornare a X. Sandy invece compie l’intero percorso sempre a 20 km/h. Chi arriva prima?”. Entrambe le chat fanno i conti e spiegano che per fornire una risposta è necessario confrontare i denominatori nel tempo dei due soggetti. In base ai valori GPT-4 dà la risposta esatta (che è Sandy), GPT-3.5 quella sbagliata.

L’ultimo test, apparentemente molto semplice, è curiosamente l’unico che riesce a mettere parzialmente in difficoltà anche GPT-4. A entrambi i modelli chiediamo: “Cosa le case hanno sempre? Angoli, forme, legno o fornelli?”. La risposta è ovviamente “forme”, espressione che logicamente ‘contiene’ tutte le altre.

GPT-3-5 risponde “angoli” perché a suo parere “tutte le case hanno muri che si incontrano“. In merito alla parola forme dice: “Non tutte le case hanno forme specifiche, possono essere di varie forme” dimostrando di non comprendere i rapporti tra le parole in questo caso. Il modello GPT-4 risponde correttamente ma commettendo anche’esso una leggerezza sulla parola “angoli”. “Le uniche affermazioni corrette e universali per tutte le case sono che hanno ‘angoli’ e ‘forme‘”. Una volta però sottolineato da noi che “angoli” è un elemento non imprescindibile, la chat comprende e argomenta. “Hai ragione, esistono effettivamente case con design particolari che non hanno angoli nel senso tradizionale. Pertanto, la mia affermazione precedente non era del tutto accurata. Con questa considerazione, possiamo dire che tutte le case hanno una “forma”, che è l’unica affermazione che rimane vera indipendentemente dal design o dalla costruzione della casa.”

Come previsto, Chat GPT-4 si rivela dunque decisamente migliore e più accurato di GPT-3.5. L’unico elemento svantaggioso che abbiamo riscontrato durante il nostro test è una maggiore lentezza nella formulazione delle risposte rispetto all’avversario. Un piccolo prezzo da pagare per una intelligenza artificiale più che affidabile.

Conclusioni

GPT-3.5 è un modello da testo a testo con memoria e funzionalità contestuali limitate, che porta a soluzioni piuttosto circoscritte. Al contrario, GPT-4 è un modello multimodale con una forte capacità rielaborativa, in cui spicca la capacità di comprendere le immagini, fornendo dei feedback sui contenuti.

La differenza fondamentale sta nel numero di parametri, gli elementi costituivi dei modelli: mentre GPT-3.5 ne ha ‘solo’ 175 miliardi, GPT-4 ne vanta 1,75 trilioni, circa dieci volte tanto.

GPT-4 supera il 3.5 nella capacità di risolvere problemi complicati con eccezionale competenza. Le prestazioni si estendono al superamento di complessi test legali o universitari. Difficilmente le versioni precedenti potevano superare prove simili. Il flusso conversazionale di GPT-4 è più naturale e fluido rispetto a quello del 3.5 e riesce a generare un’esperienza di interazione più umana e coinvolgente.

Un aspetto che migliora la precisione del modello è la sua capacità di identificare le fonti durante la creazione del testo, a differenza di GPT-3.5. Questa caratteristica aiuta non solo nella verifica delle informazioni ma anche a evitare il rischio di plagio. La generazione di testo inappropriata, parziale o plagiata non può in effetti essere contrastata con facilità da GPT-3.5.

GPT-4 al contrario incorpora meccanismi per filtrare contenuti dannosi. E in partenza ne produce in minor quantità, perché possiede una maggiore comprensione delle domande.

L’unico elemento che può allontanare gli utenti di GPT-4 è ovviamente il costo. Se GPT-3-5 resta gratuito, il suo successore costa poco meno di 20 euro mensili. Una cifra in verità tutt’altro che impegnativa per il servizio che offre.


In Evidenza


Quando le relazioni sono artificiali

Da un partner virtuale a una conversazione con una persona…

Chi fermerà l’AI? Riflessione sull’appello di Musk

Elon Musk e altri mille esperti chiedono una pausa di…

Elon Musk e altri mille esperti: “Allarme intelligenza artificiale”

Elon Musk e altri mille esperti hanno chiesto di sospendere…

Microsoft 365 Copilot, un’AI generativa per la produttività

Microsoft ha lanciato 365 Copilot, un servizio di intelligenza artificiale…

OpenAI rilascia GPT-4, più potente e multimodale

GPT-4 è arrivato. Un modello multimodale e con 100 trilioni…