Claude Opus 5 parte dal 30% e arriva al 100% sullo stesso benchmark, senza cambiare una sola riga dei pesi del modello. L’unica variabile è l’harness: l’architettura che lo circonda, gestisce la memoria, esegue le azioni, decide quando un compito è concluso. È quanto ha dimostrato Nvidia con la sua ricerca sul sistema NOOA, pubblicata nei giorni scorsi sul blog tecnico ufficiale.
Il banco di prova scelto è ARC-AGI-3, un benchmark di ragionamento interattivo composto da giochi 2D senza istruzioni: il modello deve capire le regole da solo e vincere, esattamente come farebbe un essere umano. Un punteggio del 100% significa che il modello eguaglia le prestazioni umane su ogni singolo gioco. L’harness di Nvidia includeva due modifiche sostanziali rispetto a una configurazione standard: una gestione avanzata della memoria e un componente supervisore che coordina il flusso del ragionamento. Tolte queste due componenti, Opus 5 tornava al 30%, che era comunque il risultato più alto tra tutti i modelli testati senza harness. Il gap non è marginale: è abissale.
Il discorso non si esaurisce su ARC-AGI-3. Su SWE-bench Verified, il benchmark standard per la risoluzione di problemi reali di ingegneria del software tratti da GitHub, NOOA con GPT-5.5 raggiunge l’82,2% usando 29 chiamate al modello e circa 1,1 milioni di token per task. Gli harness di confronto arrivano al massimo al 78,6% consumando 29 chiamate e 1,3 milioni di token — o al 78,2% con 66 chiamate e 2,2 milioni di token. Risultati migliori, costi dimezzati. Non è un dettaglio implementativo: è un vantaggio strutturale che nasce da come l’harness gestisce il contesto. Nvidia usa una tecnica che chiama “pass by reference”: i risultati degli strumenti diventano variabili Python attive, composte direttamente nel codice, invece di essere reinseriti come testo nella finestra di contesto a ogni turno.
La reazione di OpenAI rende il quadro ancora più nitido. I modelli dell’azienda di Sam Altman avevano ottenuto meno del 10% su ARC-AGI-3, un risultato che aveva creato imbarazzo. OpenAI ha condotto la propria ricerca il mese scorso e ha scoperto che modificando due soli parametri dell’harness i punteggi triplicavano. Triplicavano — ma nessun modello si avvicinava al 100% raggiunto da Nvidia. La differenza non stava nei modelli, stava in come erano stati costruiti i sistemi attorno a loro.
La lezione concreta è questa: per chi costruisce applicazioni agentiche, scegliere il modello più potente disponibile è meno importante di progettare bene l’infrastruttura che lo ospita. Memoria, contesto, feedback, supervisione — sono questi i fattori che determinano le prestazioni su compiti a lungo orizzonte temporale. Il modello è il motore, ma un motore da solo non porta da nessuna parte. Nvidia ha reso NOOA disponibile pubblicamente per permettere alla comunità di adottarlo ed estenderlo. Se questo approccio si consolida come standard, nei prossimi mesi assisteremo a uno spostamento dell’attenzione — e degli investimenti — dai parametri del modello all’architettura degli agenti.
