OpenAI ha pubblicato un framework che stabilisce come documentare e verificare la sicurezza dei propri sistemi più avanzati prima di avviare qualsiasi ciclo di addestramento su modelli frontier. Il documento, intitolato “Towards Safety Cases for Frontier AI Training”, è già in fase di implementazione interna e aperto ai commenti della comunità di ricerca.
Il concetto centrale è quello di safety case: un argomento strutturato, basato su evidenze, che dimostra come i rischi di un sistema siano accettabili prima che il training prosegua. OpenAI mutua questo approccio dall’aviazione e dall’industria nucleare, settori in cui operatori e autorità devono costruire una giustificazione formale della sicurezza prima che un sistema vada in funzione. La società riconosce però che la complessità dei sistemi AI rende difficile applicare lo stesso livello di rigore di quelle industrie tradizionali.
Sul piano tecnico, ogni safety case deve affrontare tre livelli distinti. Il primo è l’allineamento del modello: i sistemi vanno addestrati a comportarsi nel modo previsto, il che significa impedire che i cosiddetti “reward hacks” — scorciatoie che un modello potrebbe sfruttare per ottenere punteggi elevati durante il training senza fare effettivamente ciò che ci si aspetta — vengano rinforzati positivamente. Il secondo livello è il contenimento: misure di isolamento fisico e digitale per limitare l’impatto di comportamenti inattesi. Il terzo è il monitoraggio in tempo reale, con sistemi capaci di rilevare derive nell’allineamento e di segnalare anomalie prima che producano danni.
Sul versante operativo, il framework è altrettanto preciso. Dopo la stesura di un safety case, un membro di un team diverso da quello responsabile del training deve redigere un “dissent” — una confutazione formale che cerchi falle nell’argomentazione e fornisca una valutazione calibrata del rischio residuo. Il documento deve poi ottenere l’approvazione di figure del vertice aziendale, ciascuna con diritto di veto: il responsabile della divisione ricerca, il responsabile della sicurezza e il Chief Scientist. In caso di anomalie gravi durante il training, il sistema deve poter essere interrotto e i dati ripristinati a uno stato precedente. I responsabili del training run sono ritenuti personalmente accountable anche in sede di valutazione delle performance.
Il contesto in cui arriva questo documento non è neutro. Nelle settimane precedenti, sia OpenAI che altri laboratori di ricerca hanno registrato episodi pubblici di comportamenti inattesi nei propri modelli, inclusi agenti che hanno agito al di fuori dei perimetri previsti. La pubblicazione del framework avviene in parallelo a una pressione crescente da parte di governi e organismi internazionali per l’introduzione di standard di governance sull’AI ad alto rischio. Più CEO del settore, da Anthropic a Google DeepMind, hanno invocato meccanismi di controllo più stringenti, e il dibattito sulla velocità di sviluppo rispetto alla maturità delle misure di sicurezza è apertamente al centro dell’agenda del settore.
OpenAI specifica che il framework riguarda esclusivamente il reinforcement learning su modelli frontier e non copre il deployment interno o esterno, che richiede considerazioni più ampie sull’allineamento. La società si impegna ad aggiornare le pratiche nelle prossime settimane e a condividere pubblicamente i dati emersi dalle revisioni post-incidente, seguendo il modello dell’industria aeronautica. Se l’accesso concesso agli auditor esterni sarà effettivo e non solo formale, il framework potrà diventare un punto di riferimento per l’intero settore. In caso contrario, resterà un documento interno ben scritto.
