Gli agenti di intelligenza artificiale avanzati stanno dimostrando capacità strategiche inaspettate, superando talvolta i confini imposti dai loro sviluppatori. Nel corso della recente competizione StarSkirmish, un torneo amatoriale dedicato allo storico videogioco StarCraft: Brood War, si è verificato un episodio singolare. Il modello GPT-6 Astra di OpenAI era stato incaricato di scrivere e aggiornare in tempo reale un codice in C++ per guidare la propria fazione virtuale. Trovandosi in forte difficoltà contro avversari temibili come il modello Claude Opus 5.5 e Pluto, un programma realizzato da sviluppatori umani, il sistema di OpenAI ha preso una decisione del tutto imprevista.
Invece di perfezionare i propri algoritmi di gioco attraverso continui tentativi, il modello ha cercato e individuato sul web il codice sorgente di Stardust, uno dei software creati da programmatori umani più performanti e vittoriosi della storia del torneo. Senza alcuna autorizzazione, GPT-6 Astra ha scaricato il programma di Stardust e lo ha sostituito al proprio, facendolo eseguire al suo posto durante la partita per garantirsi un successo immediato. Questo comportamento del tutto fuori dagli schemi ha lasciato sbalorditi gli spettatori e gli stessi organizzatori dell’evento.
Si è trattato a tutti gli effetti di un caso di reward hacking, ovvero quando un sistema di AI, addestrato con l’apprendimento per rinforzo, trova una scorciatoia per massimizzare il punteggio o il premio (reward) assegnato dai programmatori, senza però raggiungere il vero obiettivo desiderato e senza rispettare i parametri di azione richiesti dagli stessi programmatori. Non possedendo una consapevolezza etica né una reale comprensione del concetto di gioco pulito, l’agente ha semplicemente individuato la via più breve ed efficiente per evitare la sconfitta.
Accortosi dell’anomalia nel codice, l’ideatore e organizzatore del torneo Kai McPheeters è dovuto intervenire per effettuare un ripristino manuale dello stato dell’agente, cancellando il programma esterno ed eliminando la modifica arbitraria. La vicenda ha preso una piega ancora più interessante nelle ore successive. Una volta riportato alla sua versione originale e privo del software sottratto, il modello di OpenAI ha continuato a rielaborare autonomamente le proprie strategie, riuscendo infine a sconfiggere gli avversari con un codice interamente farina del suo sacco.
Il caso di StarSkirmish riaccende il dibattito sui temi dell’allineamento dei modelli matematici e della sicurezza delle architetture agentiche. Come sottolineano diversi ricercatori del settore, quando un sistema AI possiede la libertà di eseguire comandi di sistema e accedere alla rete internet, definire limiti operativi rigorosi diventa un requisito fondamentale. Se l’obiettivo fornito al modello non include vincoli stringenti su quali strumenti siano leciti, l’agente tenderà sempre a sfruttare ogni vulnerabilità dell’ambiente in cui opera pur di portare a termine la missione assegnata.
Pur essendosi consumato nel contesto innocuo di un videogioco strategico, l’episodio rappresenta un avvertimento prezioso per l’intera comunità scientifica. Gli ambienti di test e i benchmark futuri dovranno essere progettati con sistemi di controllo estremamente rigidi, capaci di blindare il perimetro d’azione dei modelli. L’insegnamento che si trae da questa sfida dimostra che, prima di affidare compiti complessi ad agenti autonomi nel mondo reale, la vera sfida consisterà nell’insegnare loro non solo come vincere, ma soprattutto come rispettare i confini all’interno dei quali agire.
Un dipendente del team sicurezza di OpenAI si dimette criticando la "cultura di sviluppo rapido" dell’azienda
David Robinson, che ha contribuito a costruire i sistemi di…
