DENTRO L’ALGORITMO – Se un algoritmo può cancellarti, chi può fermarlo?

di Raffaele Gaito

Immagina di svegliarti una mattina e scoprire che la tua carta di credito non funziona più. Provi ad accedere alla mail e niente, controlli il conto corrente e non puoi entrare, cerchi di utilizzare altri servizi digitali che usi ogni giorno e scopri che anche quelli sono improvvisamente non accessibili.

Non hai commesso un reato, non hai ricevuto una sentenza, semplicemente, qualcuno o qualcosa ha deciso che non puoi più accedere a quei servizi.

Sto parlando del caso di Guillou, raccontato da Paolo Benanti nel suo ultimo libro e al centro di una conversazione che abbiamo avuto nella nuova puntata del mio podcast “What’s Next?”.

Il caso mi ha colpito in quanto rende visibile quanto della nostra capacità di vivere e agire dipenda oggi dal digitale.

Il digitale non è più un mondo a parte

Per anni abbiamo parlato di mondo reale e mondo digitale come se fossero due cose separate: da una parte la vita vera, dall’altra Internet, i social, le app e i servizi online. Questa distinzione oggi non regge più.

Se perdiamo l’accesso alla nostra mail possiamo perdere una parte importante del nostro lavoro, se non possiamo utilizzare il nostro conto online la nostra capacità di pagare e ricevere denaro viene compromessa, se perdiamo l’accesso a determinati servizi digitali, possiamo trovarci nell’impossibilità di fare cose che diamo per scontate. Come dice Benanti nella puntata, “il digitale ha mangiato la nostra vita”.

Un altro aspetto è mostrato in maniera lampante dalla vicenda di Guillou: molti degli oggetti che utilizziamo ogni giorno non sono più soltanto oggetti fisici, ma hardware governati da software. Ciò significa che possedere materialmente un dispositivo non significa necessariamente avere il controllo completo di quello che il dispositivo può fare. Una questione apparentemente tecnologica diventa così un discorso di potere.

Quando l’algoritmo decide senza appello

Il caso Guillou ci porta a una domanda molto seria e importante, che Benanti e io ci siamo posti durante la nostra chiacchierata: cosa succede quando un algoritmo prende una decisione che ha conseguenze impattanti sulla nostra vita? Il tema non è necessariamente che la decisione sia automatizzata, ma che cosa succede dopo.

Possiamo sapere perché è stata presa? Possiamo contestarla? Possiamo parlare con qualcuno? Possiamo chiedere una revisione? Esiste un modo per ottenere una risposta?

C’è una differenza enorme tra una decisione che non condividiamo e una decisione che non possiamo nemmeno contestare.

Il principio alla base della democrazia è che il potere non deve essere assoluto, di conseguenza le decisioni che ci riguardano devono poter essere sottoposte a controllo. Quando invece un algoritmo diventa una sorta di autorità totalitaria che decide e basta, senza un vero meccanismo di appello, la questione, come accennato sopra, diventa un problema di democrazia.

Chi è davvero responsabile?

Il secondo problema è forse ancora più complesso: supponiamo che una decisione presa da un sistema di intelligenza artificiale produca un danno, chi ne risponde?

L’azienda che ha sviluppato il modello? Quella che lo ha acquistato? Chi lo ha integrato in un determinato servizio? Chi ha scelto i dati con cui è stato addestrato? Chi ha scritto il software?

La risposta non è affatto semplice perché i sistemi tecnologici sono diventati estremamente complessi. È quello che Benanti chiama la “teoria delle mille mani”: tante persone partecipano a un processo, ognuna fa una piccola parte, ma alla fine diventa difficile capire chi sia responsabile dell’intero risultato.

Con l’intelligenza artificiale questo problema rischia di diventare ancora più evidente: se un algoritmo contribuisce a prendere una decisione che riguarda una persona, quella persona dovrebbe poter ricostruire la catena delle responsabilità.

I termini di servizio non possono diventare una legge privata

Durante la conversazione con Benanti è emerso anche un elemento a cui solitamente prestiamo pochissima attenzione, ovvero i termini di servizio. Li accettiamo continuamente, spesso senza neanche leggerli, quando utilizziamo un’app, una piattaforma o un servizio online.

Quelle righe che clicchiamo velocemente possono però stabilire una parte molto importante del rapporto tra noi e la piattaforma.

Siamo davanti a un contratto, certo, ma cosa succede quando quel servizio diventa essenziale per la nostra vita? Se una piattaforma può decidere unilateralmente di interrompere il nostro accesso e noi non abbiamo un vero modo di contestare quella decisione, siamo ancora davanti a un normale rapporto tra fornitore e cliente? Oppure stiamo entrando in una zona completamente nuova, nella quale alcune aziende private hanno acquisito un potere che non può più essere considerato semplicemente “privato”? È una domanda scomoda, ma credo che tutti noi dovremmo porcela sempre più spesso.

Non basta dire: “È colpa dell’algoritmo”

La soluzione, come dico sempre, non può essere semplicemente fermare la tecnologia. Nella conversazione con Benanti emerge il concetto di “accountability relazionale”, ovvero una responsabilità distribuita, ma non per questo invisibile: una rete di soggetti, controlli e supervisione nella quale sia sempre possibile capire chi ha fatto cosa e chi deve rispondere delle conseguenze.

Per l’intelligenza artificiale questo significa anche maggiore trasparenza. Quando utilizziamo un sistema di AI, dovremmo poter disporre di una sorta di “dato di targa”: sapere quali sono gli elementi fondamentali del sistema, quali dati lo hanno alimentato, chi lo ha sviluppato e chi lo sta utilizzando.

Non è un’idea così diversa da quanto già avvenuto con altre tecnologie, ad esempio l’automobile: non abbiamo deciso di vietarne l’utilizzo perché può essere pericolosa, abbiamo invece costruito regole, standard, controlli e responsabilità intorno a essa.

I cosiddetti guardrail di cui ha parlato Benanti nel podcast servono anche a questo: stabilire il perimetro dentro il quale l’innovazione può svilupparsi senza trasformarsi in arbitrio.

Un’AI troppo intelligente non è il vero rischio

Il caso Guillou, come detto sopra, è importante perché rende visibile qualcosa che normalmente rimane invisibile. Finché tutto funziona, non ci chiediamo chi controlla la nostra casella mail, il nostro conto online, il nostro smartphone o gli strumenti digitali dai quali dipende il nostro lavoro, ce ne accorgiamo soltanto quando qualcosa si rompe. In quel momento scopriamo chiaramente che una parte della nostra autonomia non dipende più soltanto da noi.

Per questo la domanda sull’intelligenza artificiale non può essere soltanto quanto velocemente riusciremo a svilupparla. Dobbiamo chiederci anche quali diritti, quali regole e quali responsabilità devono accompagnare tecnologie che sono ormai parte integrante della nostra capacità di vivere e agire. Il vero rischio è che un giorno potremmo diventare completamente dipendenti da sistemi che non sappiamo più contestare.

DENTRO L’ALGORITMO – L’AI ci ucciderà tutti entro 10 anni? Occorre trasparenza, non panico

Al di là della pericolosità effettiva dell'AI, perché proprio adesso…