I ricercatori di deepfake hanno temuto a lungo il giorno in cui sarebbe stato semplice sovrapporre un volto, nella stragrande maggioranza dei casi femminile, a contenuti video pornografici per produrre falsi da far circolare online. Ora il pericolo è diventato realtà.
di Karen Hao
Il sito è accattivante per la sua semplicità. Su uno sfondo bianco, un gigantesco pulsante blu invita i visitatori a caricare l’immagine di un volto. Sotto il pulsante, quattro volti generati dall’intelligenza artificiale consentono di testare il servizio. Sopra, lo slogan proclama audacemente lo scopo: trasformare chiunque in una pornostar utilizzando la tecnologia deepfake che permette di scambiare il volto della persona in un video per adulti. Tutto ciò che serve è l’immagine e la pressione di un pulsante.
“MIT Technology Review” ha scelto di non nominare il servizio, che chiameremo Y, né di utilizzare citazioni dirette e screenshot dei suoi contenuti, per evitare di pubblicizzarlo. Il sito è stato scoperto e portato alla nostra attenzione dal ricercatore di deepfake Henry Ajder, che ha seguito l’evoluzione e l’ascesa dei media sintetici online.
Per ora, Y ha una piccola base di utenti che fornisce attivamente feedback nei forum online. Ma il timore che i ricercatori avevano che emergesse un’app come questa, violando una linea etica che nessun altro servizio ha mai attraversato prima, è diventato realtà. Fin dall’inizio, i deepfake, o media sintetici generati dall’intelligenza artificiale, sono stati utilizzati quasi esclusivamente per creare rappresentazioni pornografiche di donne, con conseguenze psicologiche devastanti per le vittime.
Il creatore originale di Reddit che ha reso popolare la tecnologia ha scambiato i volti delle celebrità femminili in video porno. Ad oggi, secondo le stime della società di ricerca Sensity AI, tra il 90 e il 95 per cento di tutti i video deepfake online sono porno non consensuali e circa il 90 per cento di questi riguarda donne.
Con l’avanzare della tecnologia, sono emersi anche numerosi strumenti no-code di facile utilizzo, che consentono agli utenti di “spogliare” le donne nelle immagini. Da allora molti di questi servizi sono stati messi offline, ma il codice esiste ancora in repository open source e ha continuato a riemergere in nuove forme. Secondo la ricercatrice Genevieve Oh, l’ultimo sito di questo tipo ha ricevuto oltre 6,7 milioni di visite ad agosto ed è ancora operativo.
Ci sono state altre app per lo scambio di volti su singole foto, come ZAO o ReFace, che collocano gli utenti in scene selezionate di film tradizionali o video pop. Ma come la prima app pornografica dedicata allo scambio di volti, Y introduce un nuovo livello. È “fatto su misura” per creare immagini pornografiche di persone senza il loro consenso, afferma Adam Dodge, il fondatore di EndTAB, un’organizzazione no-profit che informa le persone sugli abusi abilitati dalla tecnologia.
Ciò rende più facile per i creatori migliorare la tecnologia per questo specifico caso d’uso e attrae persone che altrimenti non avrebbero pensato di creare porno deepfake. “Ogni volta che si crea un servizio specializzato su Internet, si attirano nuovi utenti”, afferma Dodge. Y è incredibilmente facile da usare. Una volta che un utente carica una foto di un volto, il sito apre una libreria di video porno. La stragrande maggioranza presenta donne, anche se in piccola percentuale compaiono anche uomini, per lo più nel porno gay. Un utente può quindi selezionare qualsiasi video per generare un’anteprima del risultato dello scambio di volti in pochi secondi e pagare per scaricare la versione completa.
I risultati sono tutt’altro che perfetti. Molti degli scambi di volti sono palesemente falsi, come si capisce dalle distorsioni che subiscono nelle diverse angolazioni. Ma per un osservatore casuale, alcuni sono abbastanza credibili e la storia passata dei deepfake ha già mostrato quanto velocemente possano diventare indistinguibili dalla realtà. Alcuni esperti sostengono che anche la qualità del deepfake non ha molta importanza perché il danno psicologico per le vittime può essere lo stesso in entrambi i casi. E molti utenti non sono consapevoli dell’esistenza di tale tecnologia, quindi anche lo scambio di volti di bassa qualità può essere in grado di ingannarli.
Y si autodefinisce uno strumento sicuro e responsabile per esplorare le fantasie sessuali. La lingua sul sito incoraggia gli utenti a caricare la propria faccia, ma nulla impedisce loro di caricare i volti di altre persone e i commenti sui forum online suggeriscono che gli utenti lo abbiano già fatto. Le conseguenze per le donne e le ragazze colpite da tale attività possono essere schiaccianti. A livello psicologico, questi video hanno una carica di violenza simile al revenge porn, vale a dire i veri video intimi fatti circolare o pubblicati senza consenso.
“Questo tipo di abuso – in cui le persone manipolano identità, nome, reputazione di un’altra in modi così violenti – frantumano nel profondo”, afferma Noelle Martin, un’attivista australiana che è stata presa di mira da una campagna di deepfake porno. E le ripercussioni possono accompagnare le vittime per tutta la vita. Le immagini e i video sono difficili da rimuovere da Internet e influiscono sulle relazioni interpersonali e sulla ricerca del lavoro. “Fino ad oggi”, spiega Martin, “ non sono mai riuscita a rimuovere del tutto nessuna delle immagini. Saranno presenti per sempre, qualunque cosa io faccia”.
A volte è persino più complicato del revenge porn. Poiché il contenuto non è reale, le donne arrivano a dubitare del fatto che sia degno di segnalazione, afferma Dodge, “Quando si hanno dei dubbi sullo status di vittima, si compromette anche la capacità di riprendersi”. Il porno deepfake non consensuale può anche avere impatti economici e di carriera. Rana Ayyub, una giornalista indiana che è diventata vittima di una campagna di deepfake porno, ha subito in seguito molestie online così intense che ha dovuto ridurre al minimo la sua presenza in rete.
Helen Mort, una poetessa e giornalista con sede nel Regno Unito che in passato ha condiviso la sua storia con “MIT Technology Review”, ha affermato di aver sentito la pressione di fare lo stesso dopo aver scoperto che le sue foto erano state rubate da account di social media privati per creare nudi falsi.
La Revenge Porn Helpline finanziata dal governo del Regno Unito ha recentemente ricevuto la segnalazione di un caso di un’insegnante che ha perso il lavoro dopo che le sue immagini pornografiche deepfake sono state diffuse sui social media e portate all’attenzione della sua scuola, afferma Sophie Mortimer, che gestisce il servizio.
L’opzione di Y di creare porno gay deepfake, sebbene limitata, rappresenta un’ulteriore minaccia per gli uomini nei paesi in cui l’omosessualità è criminalizzata, afferma Ajder. È il caso di 71 giurisdizioni a livello globale, 11 delle quali puniscono il reato con la morte. Ajder, che ha scoperto numerose app porno deepfake negli ultimi anni, afferma di aver tentato di contattare il servizio di hosting di Y e di farlo mettere offline. Tuttavia, è pessimista sulla possibilità di impedire la creazione di strumenti simili. È già apparso un altro sito che ripropone lo stesso servizio.
A suo parere, la soluzione migliore sarebbe vietare tali contenuti dalle piattaforme di social media, e forse anche rendere illegale la loro creazione o il loro consumo. Ciò significa che questi siti web verrebbero trattati allo stesso modo del materiale del dark web.
Y non ha risposto a più richieste di commento indirizzate all’e-mail elencata sul suo sito. Le informazioni di registrazione associate al dominio vengono inoltre bloccate dal servizio privacy Withheld for Privacy. Il 17 agosto, dopo che “MIT Technology Review” ha fatto un terzo tentativo di contattare il creatore, il sito ha pubblicato un avviso sulla sua homepage dicendo che non è più disponibile per i nuovi utenti. Al 12 settembre, l’avviso era ancora lì.
Immgine di: Pedro Nekoi
(rp)
