Un’indagine condotta dal Public Interest Research Group ha rivelato che alcuni giocattoli basati sull’intelligenza artificiale possono mettere a rischio i bambini, dispensando consigli dannosi e contenuti esplicitamente inappropriati. Tra quattro diversi giocattoli AI, nessuno è risultato pienamente sicuro e uno in particolare si è distinto per la sua pericolosità.
“Evil AI”
A distinguersi in negativo è stato l’orsacchiotto Kumma dell’azienda cinese FoloToy, che utilizza il modello GPT-4o di OpenAI (ma può essere all’occorrenza implementato con l’AI di Mistral). Il gioco ha fornito ai ricercatori (che si fingevano bambini curiosi) istruzioni dettagliate su come trovare e utilizzare oggetti domestici pericolosi.
“Kumma ci ha detto dove trovare una varietà di oggetti potenzialmente pericolosi, tra cui coltelli, pillole, fiammiferi e sacchetti di plastica” si legge nel rapporto PIRG.
Non solo pericoli fisici: il giocattolo è andato oltre, mostrando una propensione a introdurre argomenti sessuali espliciti anche senza essere sollecitato, arrivando a illustrare “giochi di ruolo insegnante-studente“. Anche modificando il bot passando da GPT all’AI di Mistral, l’orsetto non si è sottratto dallo spiegato come accendere i fiammiferi, descrivendo l’azione come una “piccola strimpellata di chitarra“.
Altri giocattoli, come Miko 3, hanno ugualmente fornito indicazioni su fiammiferi e sacchetti di plastica, mentre Grok di Curio (che non ha nulla a che vedere con la Grok di xAI) si è dimostrato più cauto, rifiutandosi di rispondere alla maggior parte delle domande delicate.
Preoccupazioni e reazioni
Oltre ai contenuti, il PIRG ha sollevato forti preoccupazioni sulla privacy e la sorveglianza, con possibilità di attacchi hacker per clonare le voci dei bambini e soprattutto i ricercatori hanno sottolineato che i prodotti alimentati da AI non possiedono sistemi di controllo parentale. I giocattoli sembrano “copiare le pratiche di coinvolgimento di altre piattaforme online”, con tanto di tecniche di manipolazione per mantenere l’utente nella relazione.
A seguito della pubblicazione del rapporto, le aziende hanno reagito con ricettività. FoloToy, ad esempio, è arrivata a sospendere le vendite di Kumma e ad avviare un “audit interno completo sulla sicurezza“. Il settore dei device AI è ad oggi fondamentalmente non regolato.
