L’intelligenza artificiale può favorire la creazione di contenuti dannosi, ma anche essere la soluzione per la moderazione di questi stessi contenuti. Mentre chatbot e generatori di immagini AI continuano a produrre materiali dannosi, dalle immagini deepfake non consensuali ai consigli di autolesionismo per adolescenti, le piattaforme digitali faticano a stare al passo e prevenire eventuali danni.
È qui che entra in gioco Moonbounce, startup fondata da Brett Levenson, ex-responsabile della sicurezza di Facebook e Apple. La società ha appena raccolto 12 milioni di dollari per sviluppare un sistema che trasforma le politiche di moderazione in codice esecutivo, capace di analizzare e bloccare contenuti a rischio in meno di 300 millisecondi. Un approccio rivoluzionario, se si pensa che oggi i moderatori umani, costretti a valutare ogni segnalazione in pochi secondi, sbagliano più del 50% delle volte, come ammette lo stesso Levenson.
L’obiettivo di Moonbounce non è solo quello di bloccare, ma sta anche lavorando a un sistema di deviazione dei contenuti dannosi, che invece di censurare reindirizza le conversazioni potenzialmente pericolose verso esiti costruttivi. Un esempio? Se un utente chiede consigli su come farsi del male, l’AI potrebbe modificare la richiesta in tempo reale, spingendo il chatbot a rispondere con empatia e risorse di supporto. La tecnologia è già usata da piattaforme come Channel AI, Civitai e Tinder, che grazie a Moonbounce ha migliorato di 10 volte l’accuratezza delle rilevazioni. “La sicurezza può diventare un vantaggio competitivo, non solo un costo”, spiega Levenson, sottolineando come sempre più aziende cerchino soluzioni esterne per evitare rischi legali e reputazionali.
Moonbounce, con le sue 40 milioni di revisioni giornaliere e 100 milioni di utenti protetti, si candida a diventare un alleato chiave della aziende AI e delle piattaforme social. “Non vogliamo che la nostra tecnologia diventi esclusiva di un solo gigante tech”, dichiara Levenson, consapevole che la posta in gioco non è solo economica, ma anche sociale e soprattutto sarà determinante nel salvaguardare la salute mentale degli utenti e la credibilità delle piattaforme.
L'AI ti dà ragione anche quando hai torto. E questo può essere problematico
Il fenomeno del cosiddetto servilismo dell'AI è stato analizzato e…
