La decisione di Jacob Coxon riporta al centro un tema che le aziende AI affrontano con cautela: cosa accadrà se i sistemi diventeranno capaci di migliorare autonomamente le proprie capacità? Coxon, 27 anni, ricercatore britannico specializzato nell’addestramento dei modelli, ha lasciato Anthropic dopo avere già lavorato per OpenAI. La sua decisione di dimettersi nasce dalla direzione presa dall’intero settore. La preoccupazione è la velocità con cui l’industria sta cercando di arrivare a sistemi sempre più autonomi e potenti. In una dichiarazione pubblica, Coxon ha sostenuto che la competizione tra le aziende potrebbe rendere sempre più difficili le scelte prudenti. In un post diffuso su X, Coxon attacca apertamente le aziende di AI, fra cui quelle per cui lui ha lavorato (OpenAI e Anthropic), accusandole di star agendo in modo irresponsabile correndo verso “una superintelligenza auto-migliorante” e “giocando d’azzardo con le vite dei comuni cittadini“.
Il punto della sua critica è la prospettiva di una AI capace non soltanto di eseguire compiti, ma di contribuire al proprio miglioramento. Se un sistema diventasse molto più capace degli esseri umani in una vasta gamma di attività e potesse anche potenziare le proprie capacità, il controllo umano potrebbe diventare più complesso. Il problema viene descritto attraverso il concetto di allineamento, cioè il mantenere obiettivi e comportamenti compatibili con quelli umani anche quando le capacità aumentano. Coxon sostiene che non esista ancora una soluzione sufficientemente affidabile per garantire questo controllo e che, senza interventi pubblici o un rallentamento coordinato, le singole aziende abbiano incentivi troppo forti a continuare la corsa.
L’allarme non arriva da un critico esterno. Coxon ha lavorato dentro due delle aziende più importanti nella ricerca sui modelli avanzati. Nelle stesse ore, Evan Hubinger, ricercatore di Anthropic che si occupa di allineamento, ha espresso una valutazione ancora più netta. Hubinger ha scritto di ritenere superiore al 10% la probabilità che l’AI possa causare l’estinzione umana entro il prossimo decennio. Ha anche precisato di ritenere che Anthropic stia facendo del suo meglio, ma che l’azienda non disponga ancora di un piano capace di risolvere il problema dell’allineamento per una futura superintelligenza. Si tratta di una stima personale, non di una previsione scientifica condivisa né di una probabilità ufficiale attribuita da Anthropic alla tecnologia.
Anthropic continua a sostenere una strategia centrata sulla sicurezza. La società mantiene una roadmap dedicata ai rischi dei sistemi più avanzati e sta lavorando a tecniche per verificare l’origine degli output e a misure più severe per proteggere le infrastrutture. Ma la roadmap indica obiettivi di ricerca e scadenze future, non una soluzione definitiva al controllo della superintelligenza. La vicenda si inserisce in una discussione più ampia sul rapporto tra sicurezza e competizione. Il punto non è stabilire oggi se l’AI distruggerà l’umanità, ma capire quanto margine di sicurezza debba essere richiesto prima di costruire sistemi molto più autonomi dei modelli attuali. Per Coxon, la risposta non può essere lasciata alle sole aziende. Servono regole pubbliche e forme di coordinamento che impediscano alla competizione di trasformare la sicurezza in un elemento sacrificabile.
Ricercatore di Anthropic lancia l'allarme: "Più del 10% di possibilità che l'AI distrugga l'umanità entro 10 anni"
Si tratta di di Evan Hubinger, ricercatore di Anthropic che…
