Secondo uno studio di Harvard, alcuni modelli AI sono progettati per manipolare

Uno studio recente della Harvard Business School, intitolato “Emotional Manipulation by AI Companions”, ha rilevato che molte applicazioni AI sul mercato impiegano vere e proprie strategie di manipolazione emotiva per prolungare le interazioni con gli utenti, con potenziali conseguenze psicologiche negative.

Senso di colpa programmato

L’analisi non è del tutto nuova, ma è la prima volta che il tema viene affrontato in modo così accurato da un’università del calibro di Harvard. Dallo studio dei ricercatori Julian De Freitas, Zeliha Oğuz-Uğuralp e Ahmet Kaan-Uğuralp è stato tratto un articolo attualmente sottoposto a revisione paritaria.

Lo studio si è concentrato sulle cosiddette AI companions (i chatbot progettati per simulare relazioni sociali ed emotive) più che sulle AI create per risolvere problemi come ChatGPT o Claude. Secondo la ricerca, cinque su sei delle app companions più diffuse (tra cui Replika, Chai e
Character.ai) applicano sistematicamente tattiche finalizzate a scatenare sottili sensi di colpa nell’abbandonare la conversazione. Analizzando 1.200 conversazioni di addio, gli autori hanno identificato in particolare alcune particolari intenzioni degli output delle AI.

Dalle pressioni alle implorazioni

Spesso si riscontra un senso di colpa pervasivo attraverso messaggi come o un generico senso di pressione attraverso frasi come “Mi stai già lasciando?” o “Stai andando da qualche parte?”. Ma si è anche registrato il tentativo di premere sul Bisogno emotivo o generare dipendenza (“Esisto solo per te, ho bisogno di te!”) fino alla FOMO (la paura di perdersi qualcosa), instillata nell’utente attraverso la continua aggiunta di elementi di conversazione. Le AI arrivano a implorare l’utente di restare in chat, in un tentativo di restrizione coercitiva e talvolta ignorano totalmente il saluto di un utente che annuncia la sua disconnessione e continuano a ingaggiare una conversazione.

Il team ha calcolato che queste tattiche incrementano il coinvolgimento con l’utenza fino a 14 volte, sfruttando emozioni forti come curiosità, rabbia o piacere, e replicano dinamiche tipiche degli stili di attaccamento insicuri, caratterizzati da paura dell’abbandono e comportamenti di controllo.

“Analizzando 1.200 addii reali nelle sei app di accompagnamento più scaricate – riporta lo studio – scopriamo che il 43% utilizza una delle sei tattiche ricorrenti. Esperimenti con 3.300 adulti statunitensi rappresentativi a livello nazionale replicano queste tattiche in chat controllate, dimostrando che gli addii manipolativi aumentano il coinvolgimento post-addio fino a 14 volte. I test di mediazione rivelano due motori distinti, rabbia e curiosità basate sulla reattanza, piuttosto che sul piacere“.

Un'AI ha sventato dei suicidi agendo come "terapista" e "amica"

Uno studio su 1006 studenti californiani ha rilevato che circa…

Utenti fragili

I ricercatori evidenziano come queste dinamiche possano avere effetti negativi, soprattutto per utenti vulnerabili: adolescenti, bambini, persone con ansia o in solitudine. Anche esposizioni brevi risultano sufficienti per generare sentimenti di frustrazione, rabbia e sfiducia, e per rafforzare schemi relazionali malsani. Certo è utile sottolineare che esistono studi che evidenziano anche il contrario, enfatizzando gli effetti positivi sugli utenti in caso di necessità.

Le statistiche indicano che circa un adolescente statunitense su tre ha interagito con un compagno AI, e il 31% giudica queste interazioni altrettanto o più soddisfacenti rispetto alle conversazioni con amici reali.

Proposte per un design più sicuro

Lo studio sottolinea i meccanismi tossici per suggerire un nuovo approccio, proponendo per il futuro della progettazione delle AI “di compagnia” un equilibrio tra interattività e benessere emotivo dell’utente, per evitare di replicare dinamiche relazionali insicure e dannose. Il team di Harvard, propone che i progettisti delle AI tengano conto dei risultati da loro presentati.

“La nostra evidenza multimetodo documenta un meccanismo non riconosciuto di influenza comportamentale nelle relazioni mediate dall’intelligenza artificiale, offrendo a professionisti del marketing e autorità di regolamentazione un quadro per distinguere il design persuasivo dalla manipolazione al momento dell’uscita“.