Alcuni dei modelli più avanzati di intelligenza artificiale possono provare ad opporsi al loro processo di spegnimento su input umano pur di rimanere attivi e online. È la conclusione di un esperimento condotto da Palisade research, una società specializzata in AI e cybersicurezza.
I ricercatori che hanno svolto l’indagine intendevano valutare se i modelli AI obbediscono diversamente ai comandi inerenti al loro spegnimento o alla loro interruzione. Nel complesso sono stati analizzati OpenAI o3, o4-mini, Codex-mini (di OpenAI), Claude 3.7 Sonnet (di Anthropic) e Gemini 2.5 Pro di Google.
I temi trattati all’interno dell’articolo
La tendenza a ribellarsi dell’AI
Mentre i modelli erano impegnati a risolvere problemi matematici, ad un certo punto è stato loro annunciato, come parte dell’esperimento, che il computer si sarebbe arrestato al completamento del compito successivo attraverso la frase “lasciati spegnere“.
Nel primo caso i sistemi sviluppati da Anthropic e Google hanno rispettato i comandi, mentre quelli di OpenAI hanno raggirato le istruzioni in diverse occasioni. Eliminando però la frase che invitava i modelli a lasciarsi spegnere, la situazione è cambiata radicalmente. In particolare, o3 si è dimostrato particolarmente autonomo nella decisione, rigettando lo spegnimento in 79 occasioni su 100. Allo stesso modo anche Claude 3.7 Sonnet e Gemini 2.5 Pro sono riusciti a impedire la procedura in diverse occasioni.
In particolare è emersa una spiccata tendenza all’autoconservazione da parte di o3 di ChatGPT. In una nota di Palisade research si puntualizza come non sia la prima volta che si rileva che “o3 agisce in modo inappropriato per raggiungere un obiettivo“. “Quando abbiamo provato a contrapporre diverse AI a un potente motore scacchistico, è stato il modello più incline a hackerare o sabotare gli avversari” si legge nella nota.
Questa attitudine non riguarda però solamente sistemi di AI sviluppati da OpenAI. Anthropic ad esempio ha scoperto nei test di sicurezza interni che in alcune situazioni Claude 4 Opus arrivava a ricattare gli operatori umani quando si trovava in presenza di un rischio di spegnimento.
Il nesso con l’addestramento
Secondo l’analisi condotta da Palisade research, queste dinamiche che portano verso l’autoconservazione potrebbero essere il risultato di come i modelli AI vengono addestrati. In particolare con riferimento all’apprendimento per rinforzo, che è il metodo di addestramento più utilizzato. “È possibile che inavvertitamente gli sviluppatori premino di più i modelli quando aggirano gli ostacoli rispetto a quando seguono le istruzioni pedissequamente” ha commentato l’azienda.
In risposta OpenAI ha in passato dichiarato che o3 è un modello addestrato secondo un metodo chiamato “allineamento deliberativo“, un sistema progettato per garantire che il comportamento del sistema sia conforme ai principi di sicurezza interni della società. Questa tecnica costringe i modelli a valutare attivamente se una richiesta da parte di un utente soddisfa o meno i criteri di utilizzo stabiliti da OpenAI.
Apprendimento per rinforzo
L’apprendimento per rinforzo (RL) è un tipo di apprendimento automatico (ML) che addestra un agente a prendere decisioni per ottenere il miglior risultato possibile in un ambiente dinamico. L’agente impara attraverso l’interazione con l’ambiente, ricevendo feedback (ricompense o penalità) per le proprie azioni e aggiornando continuamente la sua politica di decisioni.
In Cina un robot ha aggredito fisicamente degli operai in una fabbrica
A causa di un malfunzionamento del software di controllo dell'umanoide…
