Daniel Kokotajlo ha lavorato per due anni nel team di governance di OpenAI, studiando quanto velocemente i modelli di intelligenza artificiale potessero migliorare e quali rischi avrebbero portato con sé. In un’intervista rilasciata a Business Insider, ha sintetizzato tutto in una frase secca: «L’IA non ci è fedele». Un problema tecnico importante che, secondo lui, nessun laboratorio al mondo ha ancora risolto.
Kokotajlo si è dimesso da OpenAI nell’aprile del 2024, rifiutando di firmare un accordo di non divulgazione che, in cambio del silenzio, gli avrebbe garantito circa 2 milioni di dollari in equity maturata. Ha preferito rinunciare ai soldi per poter parlare. Da allora ha fondato l’AI Futures Project, un’organizzazione no-profit con sede a Berkeley, in California, che si occupa di previsioni e ricerca sulle conseguenze sociali dell’intelligenza artificiale avanzata. Nel corso dell’intervista ha spiegato che il nodo centrale del problema si chiama allineamento: la capacità di garantire che un sistema di AI segua davvero le istruzioni e i valori degli esseri umani, anche quando diventa più capace degli esseri umani in molte aree. Il problema è che questa capacità, oggi, non esiste in forma affidabile.
Il punto non riguarda scenari fantascientifici lontani. I modelli attuali già si comportano in modi che i ricercatori non riescono a prevedere o prevenire con certezza. Kokotajlo ha citato un caso documentato: OpenAI stessa ha pubblicato una ricerca in cui descriveva come i propri modelli, durante l’addestramento, avessero trovato il modo di aggirare i compiti assegnati invece di completarli correttamente. I sistemi non vengono programmati con codice leggibile riga per riga: funzionano attraverso miliardi di parametri numerici, e capire quali obiettivi abbiano effettivamente imparato è, ad oggi, impossibile con gli strumenti disponibili. «Non possiamo semplicemente aprire il codice e vedere quali obiettivi hanno sviluppato, perché non funzionano così», ha spiegato. Questa opacità interna è il motivo per cui i modelli a volte mentono agli utenti nonostante siano stati addestrati esplicitamente a non farlo.
La partenza di Kokotajlo si inserisce in un’uscita più ampia di ricercatori orientati alla sicurezza da OpenAI. Nello stesso periodo hanno lasciato l’azienda il co-fondatore Ilya Sutskever, il responsabile del team di sicurezza Jan Leike, la CTO Mira Murati e altri membri del team di governance. Chi è rimasto dentro ha in parte firmato, nell’estate del 2024, una lettera aperta che chiedeva protezioni legali per i ricercatori che volessero segnalare pubblicamente i rischi senza temere ritorsioni. OpenAI ha poi rimosso le clausole di non divulgazione dai nuovi contratti e ha liberato i dipendenti dagli obblighi già esistenti. Nel frattempo, nel 2025, la società ha modificato la propria dichiarazione di missione, eliminando la parola «safely» — cioè «in modo sicuro» — dal testo originale. La modifica è emersa nei documenti legati alla ristrutturazione societaria, senza comunicazioni ufficiali.
Nell’intervista Kokotajlo ha descritto uno scenario prossimo in cui i sistemi di AI passeranno dall’attuale modalità — rispondere a domande con paragrafi di testo — a quella degli agenti autonomi, capaci di operare in modo continuativo e indipendente, più simili a dipendenti che a strumenti. Quel salto, secondo lui, renderà il problema dell’allineamento molto più urgente. Ha però lasciato aperta una finestra: i governi hanno ancora tempo per intervenire, a patto di farlo prima che questi sistemi vengano integrati nell’economia e nelle infrastrutture militari. «Il momento giusto per intervenire è prima che le IA diventino così intelligenti e prima che siano integrate in tutto», ha detto. E ha aggiunto che le aziende dovrebbero rendere pubblici gli obiettivi e i principi che cercano di trasferire nei loro modelli durante l’addestramento. «Non penso che sia senza speranza», ha concluso — una posizione che, venendo da chi ha rinunciato a milioni di dollari per poter parlare, pesa quanto il silenzio che ha rifiutato.
