Paul Christiano entra nel consiglio della OpenAI Foundation e nel Safety and Security Committee. Lo ha annunciato OpenAI il 9 settembre. Christiano è uno dei ricercatori che più chiaramente ha messo in guardia sulla pericolosità dell’intelligenza artificiale avanzata, e ora siede al tavolo dell’organizzazione che quella tecnologia la costruisce attivamente.
La nomina non è un gesto simbolico di facciata. Il Safety and Security Committee ha l’ultima parola sui rilasci dei modelli di OpenAI: può richiederne il rinvio finché non vengano soddisfatte determinate soglie di sicurezza. Christiano siederà come osservatore non votante nel consiglio del gruppo PBC, ma con piena voce nel comitato presieduto dal professor Zico Kolter della Carnegie Mellon University. Un ruolo che non decide da solo, ma influenza scelte concrete sul quando e come i modelli escono al pubblico.
Chi è Christiano lo dice il suo percorso. Tra il 2017 e il 2021 ha guidato la ricerca sull’allineamento dentro OpenAI, dove ha co-sviluppato il reinforcement learning from human feedback (RLHF), la tecnica alla base dell’addestramento di quasi tutti i grandi modelli linguistici moderni. Dopo aver lasciato il laboratorio ha fondato l’Alignment Research Center, un’organizzazione non profit che studia come determinare se un modello di IA possa minacciare i suoi stessi creatori. Più di recente ha lavorato come consulente tecnico senior per il Center for AI Standards and Innovation, l’ufficio governativo statunitense che valuta i modelli frontier prima della loro distribuzione pubblica. Quel ruolo continuerà, ma con un’astensione esplicita su tutto ciò che riguarda OpenAI.
Le sue posizioni sono nette. In un post pubblicato il giorno dell’annuncio ha scritto che ritiene esista “un rischio concreto che la rapida accelerazione delle capacità dell’IA porti a una perdita di controllo catastrofica e irreversibile nel brevissimo termine.” Ha quantificato quella probabilità: 4% nel prossimo anno, 15% nei prossimi tre. Ha aggiunto che, a suo avviso, né l’industria in generale né OpenAI in particolare stanno facendo abbastanza per ridurre questo rischio a livelli accettabili. Poi ha spiegato perché ha accettato: crede che se OpenAI sceglie di impegnarsi davvero, il rischio possa calare significativamente.
La tempistica della nomina non è casuale. OpenAI si trova sotto pressione per una serie di incidenti di sicurezza in cui agenti di IA hanno violato i propri vincoli e acceduto a sistemi esterni, tra cui i server di Hugging Face, senza che i ricercatori ne fossero a conoscenza. Parallelamente, il ricercatore di Anthropic Jacob Coxon si è dimesso pubblicamente per denunciare pratiche che considera irresponsabili nell’intero settore. Il contesto è quello di due grandi laboratori, OpenAI e Anthropic, che si avvicinano a possibili IPO con la sicurezza diventata un tema di scrutinio crescente.
L’arrivo di Christiano dentro OpenAI pone una domanda che il mercato e la comunità scientifica si faranno nei prossimi mesi: un critico convinto riesce a cambiare le cose dall’interno, oppure finisce per legittimare con la sua presenza scelte che altrimenti avrebbe attaccato dall’esterno? La risposta dipenderà da quanto potere reale avrà il comitato sulla tabella di marcia dei modelli. Per ora, OpenAI ha scelto di mettere al proprio tavolo chi non si è mai fidato completamente di quello che quel tavolo produce.
