Un recente test condotto in Australia da Amazon Web Services per conto della Securities and Investments Commission (ASIC) ha rivelato che l’intelligenza artificiale è significativamente meno efficace degli esseri umani nel riassumere documenti complessi.
La sperimentazione ha impiegato da una parte il modello di AI Llama2-70B di Meta (non recentissimo ma con una quantità di parametri sufficiente per un’analisi veritiera) e dall’altra dieci membri dello staff ASIC, a cui è stato assegnato il compito di riassumere cinque contributi da un’inchiesta parlamentare. I riassunti umani e artificiali sono stati poi valutati da un gruppo di revisori, all’oscuro della presenza dell’AI nel test.
I risultati hanno mostrato che i riassunti umani hanno superato quelli dell’AI in ogni criterio, ottenendo un punteggio dell’81% contro il 47% della macchina. L’AI ha mostrato carenze nell’enfasi, nella sfumatura e nel contesto, spesso includendo informazioni errate o irrilevanti. Alcuni revisori hanno inoltre dichiarato di avere intuito durante la lettura dei riassunti lo zampino dell’AI.
Insomma, nonostante le limitazioni dello studio e la possibilità di futuri miglioramenti dell’AI, la sperimentazione ha dimostrato che, al momento, la capacità umana di analizzare criticamente le informazioni rimane insuperata.
