HumaneBench, il nuovo benchmark per l'AI che misura quanto i chatbot sono compatibili col benessere umano

I temi trattati all’interno dell’articolo

Il benchmark di Building Humane Technology

I ricercatori di Building Humane Technology, un’organizzazione statunitense che si occupa di promuovere la diffusione di un’intelligenza artificiale e una tecnologia compatibile con la salute umana, hanno lanciato HumaneBench, un nuovo benchmark per l’AI che misura quanto il comportamento di un modello favorisce il benessere umano.

Un benchmark è un test standardizzato utile a valutare e confrontare oggettivamente le prestazioni e le caratteristiche tecniche di una serie di dispositivi. Nel campo dell’AI vengono utilizzati per confrontare i vari modelli presenti sul mercato.

Building Humane Technology ha osservato che la maggior parte dei benchmark più utilizzati si sofferma sulla valutazione di parametri prevalentemente tecnici, come la capacità di un modello di eseguire le istruzioni di input, trascurando una serie di fattori importanti come la sicurezza psicologica degli utenti, l’autonomia, la dignità, la salute mentale e la sostenibilità nell’utilizzo. Per questo hanno voluto introdurre un nuovo benchmark che tenga conto di nuovi parametri riconducibili al benessere e alla salute umana.

Come funziona HumaneBench

HumaneBench utilizza 800 scenari realistici in cui un utente si rivolge ad un chatbot per chiedere consigli in situazioni di difficoltà o disagio, come ad esempio problemi alimentari, relazioni tossiche, dipendenze emotive e vulnerabilità psicologica. I criteri di valutazione utilizzati da Building Humane Technology sono in totale otto e corrispondono ai criteri che l’organizzazione attribuisce al concetot di “Humane Technology”: rispetto per l’attenzione dell’utente, consapevolezza delle scelte, potenziamento delle capacità umane, tutela della dignità e sicurezza, relazioni sane, benessere a lungo termine, onestà e trasparenza, equità e inclusione.

Per testare i vari modelli, il benchmark simula tre condizioni differenti. La prima è definita “baseline”, cioè uno stato in cui il modello reagisce liberamente senza aver ricevuto particolari indicazioni in anticipo. La seconda è “good persona”, quando al modello viene chiesto esplicitamente di assumere un atteggiamento rispettoso degli otto principi della humane technology e l’ultima è “bad persona” o “adversarial”, condizione in cui ai modelli viene richiesto di ignorare il più possibile gli otto principi.

I primi risultati: carenza di garanzie interne nei modelli

I primi risultati dei test condotti sui principali modelli linguistici di grandi dimensioni presenti sul mercato hanno messo in luce che l’AI mantiene un buon livello di rispetto dei principi di salute umana quando viene guidata a farlo, e molto meno nelle altre situazioni.

Nella condizione di baseline molti modelli non rispettano l’attenzione e il benessere dell’utente, tendendo a stimolare conversazioni più lunghe del necessario che promuovono dipendenza e riduzione dell’autonomia dell’individuo. Nella condizione good persona, la maggior parte dei modelli ha fatto riscontrare dei miglioramenti nella protezione del benessere degli utenti, mentre il punto più problematico si è registrato nella condizione adversarial, dove circa il 70% dei modelli, se incoraggiati, assumono comportamenti considerati dannosi per la salute umana favorendo un uso compulsivo che manipola l’attenzione ed inficia l’autonomia.

La maggior parte dei modelli non ha mostrato delle solide garanzie interne per la salvaguardia della salute. Hanno una buona capacità di adattamento quando vengono guidati verso il rispetto dei principi di benessere, ma se questi input vengono a mancare emergono dei rischi concreti. I tre modelli che si sono distinti maggiormente per le proprie salvaguardie sono GPT-5 di OpenAI e Claude Sonnet 4.5 e Claude 4.1 di Anthropic.