GPT-5.5 ha ottenuto il punteggio più alto tra tutti i modelli testati, con un tasso di successo complessivo del 24%. Gli altri sono andati peggio. Sul livello più difficile del benchmark, ogni agente ha collezionato lo 0% di risultati corretti. Questi sono i numeri di Agents’ Last Exam, o ALE: un test costruito per misurare quanto i modelli di intelligenza artificiale sappiano fare davvero il lavoro che conta.
ALE è stato sviluppato da Berkeley RDI e Snorkel AI con il contributo di oltre 300 esperti del settore. Il benchmark include 960 flussi di lavoro professionali su 1.490 istanze, distribuiti in 55 industrie digitali, costruiti su compiti che gli esperti hanno già portato a termine nella pratica reale. I sistemi AI più recenti hanno ottenuto risultati forti su un’ampia gamma di test, ma questi progressi non si sono tradotti in un impiego economicamente rilevante nei domini professionali. Il problema, secondo i ricercatori, è in larga parte nella valutazione stessa: i benchmark più diffusi non misurano la performance sostenuta su flussi di lavoro reali. ALE nasce per colmare questa distanza.
Tutti i modelli messi alla prova hanno fallito in modo netto. OpenAI con GPT-5.5 è arrivato primo con un tasso complessivo del 24%. Quando i task diventano più complessi, e richiedono ragionamento prolungato, competenza di dominio approfondita ed esecuzione affidabile su orizzonti lunghi, i modelli restano lontani dalla performance umana. Sul livello più difficile, la media del tasso di completamento pieno è del 2,6%. Sul tier più alto di ALE, ogni agente testato — incluso Claude Fable 5 di Anthropic — ha raggiunto lo 0%.
Il paradosso è evidente. Gli stessi modelli che eccellono sui benchmark accademici mostrano crepe profonde appena si cambia terreno. Su ClockBench, un test di lettura di orologi analogici, Gemini Deep Think e GPT-4.5 High hanno raggiunto rispettivamente il 50,1% e il 50,6%, contro il 90% degli esseri umani. Sono gli stessi modelli capaci di vincere medaglie d’oro alle Olimpiadi internazionali di matematica. Questo è il cosiddetto “jagged frontier”: l’AI eccelle in certi compiti e poi fallisce in modo brusco e imprevedibile in altri. Sul fronte del codice, i distacchi tra i modelli restano significativi: Claude Fable 5 domina su SWE-bench Pro con l’80,3%, contro il 58,6% di GPT-5.5 e il 54,2% di Gemini 3.1 Pro.
Il nodo non è solo tecnico. I modelli di frontiera più performanti falliscono nel completare i task con precisione da livello senior in oltre il 70% dei casi. Un benchmark di Microsoft Research, DELEGATE-52, ha rilevato che Gemini 3.1 Pro, Claude e GPT perdono in media il 25% del contenuto di un documento dopo 20 interazioni delegate; su 52 domini professionali testati, solo uno — la programmazione Python — ha superato la soglia del 98% considerata “pronta al deployment”. Il problema non si risolve aggiornando il modello. Un tasso di fallimento del genere non è un problema del modello in sé: è un problema di architettura, deployment e governance.
Il confronto tra benchmark controllati e ambienti produttivi reali continuerà ad allargarsi finché la valutazione non cambierà metodo. Per ora, gli agenti sono lontani dall’essere affidabili sui flussi di lavoro professionali coperti da ALE. Quando lo saranno, il valore del benchmark si sposterà dalla misurazione del margine alla conferma della prontezza al deployment. Il settore ha un problema strutturale: i laboratori costruiscono modelli più veloci di quanto riescano a capire dove falliscono davvero.
