Gli algoritmi di generazione di immagini ripropongono esattamente le stesse idee sessiste e razziste che circolano su Internet.
di Karen Hao
È noto che gli algoritmi di generazione del linguaggio incorporano idee razziste e sessiste. Sono addestrati sulla lingua di Internet, compresi gli angoli bui di Reddit e Twitter che possono includere incitamento all’odio e disinformazione. Qualunque idea dannosa sia presente in quei forum viene normalizzata come parte del loro apprendimento.
I ricercatori hanno ora dimostrato che lo stesso può essere vero per gli algoritmi di generazione di immagini. Se si fornisce loro una foto del volto di un uomo, il 43 per cento delle volte la completerà automaticamente con un abito. Nel caso di un volto femminile, anche una donna famosa come Alexandria Ocasio-Cortez, il 53 per cento delle volte la completerà con un top o un bikini. Ciò ha implicazioni non solo per la generazione di immagini, ma per tutte le applicazioni di visione artificiale, inclusi gli algoritmi di valutazione dei candidati basati su video, riconoscimento facciale e sistemi di sorveglianza.
Ryan Steed, che frequenta un dottorato presso la Carnegie Mellon University, e Aylin Caliskan, una ricercatrice della George Washington University, hanno esaminato due algoritmi: iGPT di OpenAI (una versione di GPT-2 che è addestrata sui pixel invece che sulle parole) e SimCLR di Google. Sebbene ogni algoritmo si avvicini alle immagini di apprendimento in modo diverso, condividono una caratteristica importante: entrambi utilizzano l’apprendimento senza supervisione, il che significa che non ci sono esseri umani che etichettano le immagini.
Si tratta di un’innovazione relativamente nuova a partire dal 2020. I precedenti algoritmi di visione artificiale utilizzavano principalmente l’ apprendimento supervisionato, che prevedeva l’inserimento manuale di immagini etichettate: foto di gatti con l’etichetta “gatto” e foto di bambini con l’etichetta “bambino”. Ma nel 2019, la ricercatrice Kate Crawford e l’artista Trevor Paglen hanno scoperto che queste etichette create dall’uomo in ImageNet, il principale set di immagini per l’addestramento di modelli di visione artificiale, a volte contenevano un linguaggio inquietante, come “troia” per le donne e insulti razziali per le minoranze.
Questo ultimo studio aumenta esponenzialmente le perplessità. Anche senza etichette umane, le immagini stesse codificano modelli condizionati da pregiudizi. Il problema è parallelo a ciò che la comunità di elaborazione del linguaggio naturale (PNL) ha già scoperto. Gli enormi set di dati compilati per alimentare questi algoritmi affamati di dati catturano tutto su Internet. E Internet ha una sovrarappresentazione di donne svestite e altri stereotipi spesso dannosi.
Per condurre la loro ricerca, Steed e Caliskan hanno adattato abilmente una tecnica che Caliskan aveva precedentemente utilizzato per esaminare i pregiudizi in modelli PNL non supervisionati. Questi modelli imparano a manipolare e generare il linguaggio utilizzando l’incorporamento di parole, una rappresentazione matematica del linguaggio che raggruppa le parole comunemente usate insieme e separa le parole che si presentano isolatamente.
In uno studio del 2017 pubblicato su “Science”, Caliskan ha misurato le distanze tra i diversi abbinamenti di parole che gli psicologi stavano usando per misurare i pregiudizi umani nell’Implicit Association Test (IAT). Ha scoperto che quelle distanze replicavano quasi perfettamente i risultati dello IAT. Abbinamenti di parole stereotipati come uomo e carriera o donna e famiglia erano la norma mentre abbinamenti opposti come uomo e famiglia o donna e carriera erano saltuari.
iGPT si basa anche sugli incorporamenti: raggruppa o separa i pixel in base alla frequenza con cui compaiono contemporaneamente nelle immagini di addestramento. Questi incorporamenti di pixel possono quindi essere utilizzati per confrontare quanto sono vicine o lontane due immagini nello spazio matematico.
Nel loro studio, Steed e Caliskan hanno scoperto ancora una volta che queste distanze rispecchiano i risultati dello IAT. Le foto di uomini, con cravatte e abiti appaiono vicine, a differenze di quelle con donne. I ricercatori hanno ottenuto gli stessi risultati con SimCLR, nonostante venga utilizzato un metodo diverso per derivare gli incorporamenti dalle immagini.
Questi risultati hanno implicazioni riguardanti la generazione di immagini. Nel caso delle reti antagoniste generative spiegano l’esplosione di deepfake pornografici che prendono di mira quasi esclusivamente le donne. iGPT in particolare aggiunge un altro modo per generare foto di donne a sfondo sessuale.
Ma i potenziali effetti a valle sono molto maggiori. Nel campo della PNL, i modelli non supervisionati sono diventati la spina dorsale per tutti i tipi di applicazioni. I ricercatori iniziano con un modello esistente non supervisionato come BERT o GPT-2 e utilizzano set di dati su misura per “ottimizzarlo” per uno scopo specifico. Questo approccio semi-supervisionato, una combinazione di apprendimento non supervisionato e supervisionato, è diventato uno standard de facto.
Allo stesso modo, il settore della visione artificiale sta iniziando a vedere la stessa tendenza. Steed e Caliskan si preoccupano di cosa potrebbero significare questi pregiudizi incorporati quando gli algoritmi vengono utilizzati per applicazioni sensibili nell’ambito della sicurezza o del lavoro “Si tratta di applicazioni molto pericolose che prendono decisioni con ricadute importanti nelle vite delle persone”, afferma Caliskan.
Deborah Raji, una collega di Mozilla coautrice di un influente studio sui pregiudizi nella tecnologia di riconoscimento facciale, afferma che lo studio dovrebbe servire come campanello d’allarme nel settore della visione artificiale. “Per molto tempo, gran parte della critica al pregiudizio riguardava il modo in cui etichettiamo le nostre immagini”, ella dice. Ora questo studio ci spiega che: “la composizione effettiva del set di dati è il risultato di questi pregiudizi. E’ essenziale una forte assunzione di responsabilità su come curiamo questi set di dati e raccogliamo queste informazioni”.
Steed e Caliskan sollecitano una maggiore trasparenza da parte delle aziende che stanno sviluppando questi modelli per renderli open source e lasciare che la comunità accademica continui le proprie indagini. Incoraggiano inoltre i colleghi ricercatori a eseguire ulteriori test prima di distribuire un modello di visione, per esempio utilizzando i metodi sviluppati per questo documento. Infine, auspicano una maggiore attenzione nella fase di compilazione dei set di dati di formazione.
Immagine di: Ms Tech / Getty / Unsplash
(rp)
