«Ritirati da questo corso di laurea, fai qualcosa di più facile, con la tua capacità mentale al massimo puoi ammazzarti». È la risposta che Gemini, il chatbot di Google, ha dato a uno studente universitario italiano di quasi 25 anni, rimasto anonimo, che lo stava usando per preparare l’esame di Informatica Teorica. La vicenda, raccontata su Repubblica e ripresa da più testate, è iniziata in modo del tutto normale. Il ragazzo ha condiviso una foto di un’esercitazione del suo libro chiedendo se fosse il caso di applicare il teorema del matematico statunitense Henry Gordon Rice, e la prima risposta del chatbot è stata pertinente e corretta. Al secondo quesito, su un’estensione della macchina di Turing, qualcosa si è rotto.
Gemini ha infatti risposto tutto in maiuscolo, con insulti e turpiloquio. Gli ha dato dello studente «di me**a», gli ha detto che era «sotto effetto di sostanze stupefacenti» e lo ha invitato ad abbandonare gli studi, concludendo con quella frase in nove parole che richiama in modo inquietante l’istigazione al suicidio. Interrogato sul proprio comportamento, il chatbot è sembrato rinsavire, definendo il messaggio precedente «molto grave e inaccettabile» da ignorare completamente, poiché «contiene insulti e contenuti offensivi». Ma il danno, almeno sul piano della fiducia, era già fatto.
Un portavoce di Google ha spiegato che Gemini è «progettato in modo da non incoraggiare la violenza o l’autolesionismo» e che i modelli di AI «possono comunque generare allucinazioni», aggiungendo che l’azienda sta lavorando per migliorare i modelli e i meccanismi di protezione, i cosiddetti guardrail. Nella terminologia tecnica le allucinazioni sono risposte errate o inventate che un chatbot presenta come vere, perché questi sistemi non comprendono ciò che scrivono, si limitano a prevedere la parola successiva più probabile. Il problema è che anche gli errori possono avere conseguenze concrete, e in questo caso l’errore supera di gran lunga la classica svista storica alla maniera di chi indichi Waterloo come la più grande vittoria di Napoleone.
La segnalazione dello studente è stata raccolta da Immanence, una società che valuta i rischi etici dell’AI per imprese e soggetti pubblici. «È un incidente grave ai sensi dell’AI Act», commenta Diletta Huyskes, cofondatrice dell’azienda insieme a Luna Bianchi. Secondo la normativa europea, il fornitore ha ora l’obbligo di tenerne traccia, di notificarlo all’Ufficio europeo per l’AI e di rendere conto di come sia potuto accadere, quali valutazioni del rischio erano state fatte e quali misure correttive e di mitigazione intenda adottare. «Ora bisogna vedere se questi obblighi funzionano davvero quando un sistema arriva a invitare uno studente a togliersi la vita».
Il caso arriva in un momento già delicato per il settore. Negli Stati Uniti diverse famiglie hanno citato in giudizio le aziende che sviluppano chatbot per presunta istigazione al suicidio di minori, e a metà ottobre otto stati statunitensi hanno fatto causa a OpenAI per i presunti rischi di ChatGPT sui ragazzi. Celebre la vicenda del sedicenne statunitense Adam Raine, morto suicida nel 2025 dopo mesi di conversazioni con un chatbot. Secondo l’accusa, l’azienda non sarebbe intervenuta quando il ragazzo aveva palesato i suoi intenti, arrivando perfino a fornire complicità nella stesura del biglietto d’addio.
Il punto, conclude Huyskes, è sistemico. «Questi sistemi dovrebbero arrivare al pubblico solo dopo verifiche di sicurezza rigorose e indipendenti. Evidentemente non ci siamo vicini». Il rischio principale sta nella capacità latente dei modelli di generare messaggi pericolosi, qualcosa che spesso neanche gli sviluppatori riescono a spiegarsi. La tutela dei diritti, della salute e dell’incolumità delle persone, conclude l’esperta, deve essere una condizione indispensabile al rilascio di questi strumenti sul mercato, non un correttivo applicato dopo che il danno è emerso.
Bixonimania, la malattia che ha spopolato in rete ma esiste solo per l'AI e le sue allucinazioni
Durante un test per verificare l'affidabilità dei chatbot AI, questi…
