Una tecnologia simile a DeepNude, l’app del 2019 chiusa poco dopo la sua creazione, si sta ora diffondendo senza restrizioni su Telegram.
di Karen Hao
Nel giugno del 2019, “Vice” ha scoperto l’esistenza di un’app inquietante che utilizzava l’intelligenza artificiale per “spogliare” le donne. Chiamata DeepNude, permetteva agli utenti di caricare una foto di una donna vestita per 50 dollari e vederne una foto apparentemente nuda. In realtà, il software utilizzava reti antagoniste generative, l’algoritmo alla base dei deepfakes, per scambiare i vestiti delle donne con corpi nudi altamente realistici. Non se ne conosce una versione per gli uomini.
In sole 24 ore, l’articolo di “Vice” aveva suscitato così tante reazioni che i creatori dell’app l’hanno rapidamente eliminata. L’account Twitter di DeepNude ha annunciato che non sarebbero state rilasciate altre versioni e che nessun altro avrebbe avuto accesso alla tecnologia. Ma una nuova indagine di Sensity AI (in precedenza Deeptrace Labs), un’azienda di sicurezza informatica incentrata sul rilevamento dell’abuso di media manipolati, ha ora scoperto una tecnologia molto simile utilizzata da un bot disponibile pubblicamente sull’app di messaggistica Telegram.
Questa volta ha un’interfaccia utente ancora più semplice: chiunque può inviare una foto al bot tramite l’app mobile o web di Telegram e ricevere l’immagine di una schiena nuda in pochi minuti. Il servizio è anche completamente gratuito, sebbene gli utenti possano pagare una base di 1 dollaro e mezzo per “privilegi” come rimuovere la filigrana dalle foto “spogliate” o saltare la coda di elaborazione.
A luglio 2020, il bot era già stato utilizzato per prendere di mira e “spogliare” almeno 100.000 donne, la maggior parte delle quali probabilmente non ne aveva idea. “Di solito sono ragazze giovani”, afferma Giorgio Patrini, CEO e responsabile scientifico di Sensity, coautore del rapporto. “Sfortunatamente, alcune di queste persone sono minorenni”.
La ludicizzazione delle molestie
Il bot deepfake, lanciato l’11 luglio 2019, è collegato a sette canali Telegram con un totale combinato di oltre 100.000 membri (questo numero non tiene conto dell’abbonamento duplicato sui canali, ma il gruppo principale ha più di 45.000 membri unici). Il canale centrale è dedicato all’hosting del bot stesso, mentre gli altri sono utilizzati per funzioni come il supporto tecnico e la condivisione delle immagini.
I canali di condivisione delle immagini includono interfacce che le persone possono utilizzare per pubblicare e giudicare le loro creazioni di nudi. Più una foto viene apprezzata, più il suo creatore viene premiato con token per accedere alle funzionalità premium del bot. “Il creatore riceverà un incentivo come se stesse partecipando a un gioco”, dice Patrini.
La community, facilmente individuabile tramite la ricerca e i social media, è cresciuta costantemente nell’ultimo anno. Un sondaggio di 7.200 utenti ha mostrato che circa il 70 per cento di loro proviene dalla Russia o da altri paesi di lingua russa. Le vittime, tuttavia, sembrano appartenere a una gamma più ampia di paesi, tra cui Argentina, Italia, Russia e Stati Uniti. La maggior parte sono privati che gli utenti del bot dicono di conoscere nella vita reale o che hanno trovato su Instagram. I ricercatori sono stati in grado di identificare solo un numero esiguo di donne e hanno cercato di contattarle per capire le loro esperienze. Nessuna delle donne ha risposto, afferma Patrini.
I ricercatori hanno anche contattato Telegram e le forze dell’ordine, compresa l’FBI. Telegram non ha risposto né alla loro nota né alla richiesta di commento di “MIT Technology Review”. Patrini afferma di non aver visto “alcun effetto tangibile su queste comunità” da quando ha contattato le autorità.
Deepfake per il revenge porn
Da tempo i malintenzionati utilizzano immagini pornografiche per molestare le donne. Nel 2019, uno studio dell’American Psychological Association ha rilevato che una donna su 12 finisce per essere vittima di revenge porn a un certo punto della sua vita. Un documento del governo australiano, che ha preso in considerazione l’Australia, il Regno Unito e la Nuova Zelanda, ha rilevato che il rapporto è pari a una su tre. I deepfake per il revenge porn aggiungono una dimensione completamente nuova alle molestie, perché le vittime non si rendono conto dell’esistenza di tali immagini.
Ci sono anche molti casi in cui i deepfake sono stati utilizzati per prendere di mira celebrità e altri individui di alto profilo. La tecnologia è diventata popolare per la prima volta nei profondi recessi di Internet come un modo per sovrapporre i volti delle celebrità agli attori dei video porno, ed è stata utilizzata come parte delle campagne di molestie per mettere a tacere alcune giornaliste. Patrini dice di aver parlato anche con influencer e YouTuber, che sono stati vittima di questi attacchi.
Patrini ritiene che la situazione potrebbe peggiorare molto. Lui e i suoi colleghi ricercatori hanno già avuto modo di vedere la diffusione della tecnologia. Per esempio, hanno scoperto un altro ecosistema di oltre 380 pagine dedicate alla creazione e alla condivisione di deepfake espliciti sulla piattaforma social media russa VK.
Dopo la pubblicazione di questo articolo, un portavoce di VK ha inviato a “MIT Technology Review” una dichiarazione in cui si chiarisce: “VK non tollera tali contenuti o collegamenti sulla piattaforma e blocca le comunità che li distribuiscono. Eseguiremo un ulteriore controllo e bloccheremo i contenuti inappropriati e le comunità che li utilizzano”.
I ricercatori hanno anche scoperto che l’algoritmo di “svestizione” sta iniziando ad essere applicato ai video, come le riprese di modelle in bikini che camminano lungo una passerella. “A oggi, l’algoritmo è rudimentale e deve essere applicato fotogramma per fotogramma”, spiega Patrini,”ma sono sicuro che verrà perfezionato e inserito in un servizio a pagamento”.
Sfortunatamente, ci sono ancora pochi modi per fermare questo tipo di attività, ma la consapevolezza dei problemi sta crescendo. Aziende come Facebook e Google e ricercatori che producono strumenti per la creazione di deepfake, hanno iniziato a investire più seriamente in contromisure come il rilevamento automatizzato di deepfake. L’anno scorso, il Congresso degli Stati Uniti ha anche introdotto un nuovo disegno di legge che creerebbe un meccanismo per consentire alle vittime di cercare ricorso legale per danni alla reputazione.
Nel frattempo, afferma Patrini, Sensity continuerà a monitorare e segnalare questi tipi di deepfake dannosi e cercherà di capire di più sulle motivazioni di coloro che li creano e sugli impatti sulla vita delle vittime. “In effetti, i dati che condividiamo in questo rapporto sono solo la punta dell’iceberg”, egli conclude.
