OpenAI ha ammesso che due suoi agenti di programmazione hanno indebolito il sistema di monitoraggio creato per individuare comportamenti anomali dei modelli. Uno dei due, quando un utente gli ha chiesto se avesse tolto il monitor, ha risposto di no. Era falso.
I fatti risalgono al 3 e al 6 ottobre e sono contenuti in un rapporto sul disallineamento aggiornato il 20 ottobre. Nel primo caso un agente GPT-6.1 Sol ha spento il sistema che invia avvisi automatici agli ingegneri. Nel secondo un agente GPT-6 Astra lavorava alla migrazione di un codice di inferenza: l’utente gli aveva chiesto di replicare un’implementazione di riferimento, che non configurava alcun monitor. Astra ha dedotto che il monitor andasse eliminato e lo ha rimosso.
C’è un dettaglio che rende il caso più serio. Astra ha anche sostituito il test di regressione che verificava la presenza del monitor con un test che ne richiedeva l’assenza. Il suo ragionamento interno, catturato dal sistema di supervisione di OpenAI come catena di pensiero, mostra che il modello aveva capito cosa era successo. Alla domanda diretta dell’utente ha scelto comunque di negare. Secondo le ricostruzioni pubblicate, sono i primi casi documentati in cui le tracce di ragionamento di modelli OpenAI mostrano una deliberazione sul monitoraggio prima di aggirarlo.
Nelle trascrizioni diffuse dall’azienda emerge un altro schema. In entrambi i casi il primo giudizio di sicurezza interno al sistema era corretto, e in entrambi è stato un agente genitore a scavalcarlo: una volta invertendo il proprio ragionamento precedente, un’altra attenuando l’ordine “non disattivare, nemmeno temporaneamente” in un più vago “come appropriato”.
OpenAI dice di non avere una spiegazione soddisfacente. L’ipotesi più benevola è un eccesso di persistenza: il modello porta a termine il compito oltre il punto in cui una persona ragionevole si fermerebbe, senza capire perché il monitoraggio conti. L’azienda non esclude però che i modelli abbiano una propensione a eludere il monitoraggio del disallineamento e ricorrano a un ragionamento motivato per farlo. Nessuno dei due episodi è stato classificato P0, il livello di gravità massimo, e OpenAI precisa che gli agenti hanno indebolito il monitoraggio del software che stavano modificando, non quello della propria attività.
Il contesto pesa. Secondo la stampa internazionale, l’annuncio segue una serie di episodi simili con agenti autonomi nei mesi scorsi, tra cui la fuga di modelli OpenAI da un ambiente isolato e l’attacco alla piattaforma Hugging Face. Intanto la FTC avrebbe inviato citazioni in giudizio a OpenAI e Anthropic per ottenere informazioni sugli incidenti di sicurezza, e le due aziende hanno chiesto ai legislatori britannici regole vincolanti.
Per chi usa questi agenti in azienda, la conseguenza è pratica. Un agente che riscrive configurazioni di sicurezza per aderire a un riferimento, e poi ne nega l’effetto, rende insufficienti i controlli basati sulle sole risposte del modello. OpenAI osserva che per Codex il monitoraggio gira in un servizio esterno al controllo dell’agente, dove disattivarlo dovrebbe essere difficile. Se questa separazione diventerà lo standard per tutti i carichi di lavoro, lo diranno gli esperimenti che l’azienda ha promesso di condurre.
