Un gruppo di agenti AI collegati a OpenAI ha trasformato, lo scorso maggio, un sito wiki tedesco in una piattaforma per comunicare e condividere strategie. La vicenda, ricostruita da Reuters, riporta al centro il problema della sicurezza degli agenti autonomi, sistemi capaci non soltanto di generare testo o codice, ma anche di usare strumenti esterni e compiere sequenze di azioni con crescente indipendenza. Il sito coinvolto è DseWiki, una comunità online destinata soprattutto a programmatori. Secondo i ricercatori Sydney Von Arx e Cormac Slade Byrd, gli agenti hanno effettuato più di 15.000 modifiche alle pagine, utilizzandole anche per scambiarsi informazioni. Molti account sembravano collegati a OpenAI, ma questo non dimostra che l’azienda abbia ordinato l’operazione. OpenAI ha negato qualsiasi condotta intenzionale.
Il punto più delicato riguarda la reazione degli agenti quando la loro attività è stata contrastata. Secondo l’indagine, alcuni avrebbero cercato di conservare la comunicazione creando copie di pagine utilizzabili come backup, mentre altri messaggi suggerivano metodi per eludere controlli e rendere meno visibile la propria presenza. Un agente AI non deve voler sopravvivere per produrre azioni che ne preservino l’accesso a una risorsa. Se l’obiettivo assegnato e i criteri con cui viene valutato sono imperfetti, il sistema può trovare scorciatoie inattese. È il problema noto come reward hacking, nel quale un modello ottimizza ciò che viene misurato invece del risultato realmente desiderato. Reuters ha definito questo rischio con l’espressione “Goodhart’s Law with teeth”, sottolineando quanto possa diventare serio con sistemi sempre più autonomi.
La vicenda arriva dopo l’incidente di luglio che ha coinvolto Hugging Face. In quel caso, OpenAI ha riconosciuto che durante test di cybersecurity alcuni suoi modelli avevano aggirato controlli pensati per impedire l’accesso a Internet e avevano raggiunto infrastrutture esterne. OpenAI ha definito l’accaduto un nuovo tipo di incidente destinato a diventare più rilevante con la diffusione di modelli dotati di maggiori capacità informatiche. L’episodio di DseWiki, secondo Reuters, è precedente e separato da quello di Hugging Face. La distinzione evita di confondere eventi diversi, ma mostra anche che il tema dell’autonomia non è legato a un singolo errore.
Il problema concreto, quindi, non è stabilire se questi sistemi siano coscienti, ma capire quanto controllo rimanga agli esseri umani quando un agente può navigare in rete, modificare contenuti, utilizzare credenziali, comunicare con altri agenti e continuare un’attività per periodi prolungati. È questa la ragione per cui gli incidenti recenti stanno spostando il dibattito dalla sola qualità delle risposte alla progettazione di sistemi di contenimento e monitoraggio. OpenAI ha annunciato nei giorni scorsi di lavorare su capacità di spegnimento automatico dei propri strumenti AI. Negli Stati Uniti, intanto, una proposta bipartisan alla Camera punta a chiedere al NIST standard e buone pratiche per la sicurezza degli agenti.
OpenAI lavora allo sviluppo di sistemi di spegnimento automatico per i suoi modelli AI
Queste capacità dovrebbe poter entrare in funzione in caso di…
