Per anni, le grandi aziende tecnologiche hanno fissato l’agenda globale della ricerca sull’AI. Ora, gruppi come Black in AI e Queer in AI stanno capovolgendo le dinamiche di potere del settore per costruire un’intelligenza artificiale al servizio delle persone.
di Karen Hao
Timnit Gebru non avrebbe mai pensato che un articolo scientifico le avrebbe causato così tanti problemi. Nel 2020, in qualità di co-responsabile del team di intelligenza artificiale etica di Google, Gebru aveva contattato Emily Bender, professoressa di linguistica all’Università di Washington, e insieme hanno deciso di capire in che direzione si stesse muovendo l’intelligenza artificiale.
Gebru ha approfondito i rischi posti dai modelli linguistici di grandi dimensioni, una delle scoperte recenti più sorprendenti nella ricerca sull’intelligenza artificiale. I modelli sono algoritmi addestrati su quantità sbalorditive di testo. Nelle giuste condizioni, possono comporre quelli che sembrano convincenti passaggi di prosa.
Per alcuni anni, le aziende tecnologiche hanno gareggiato per creare versioni sempre più grandi e integrarle nei prodotti di consumo. Google, che ha inventato la tecnica, ne stava già utilizzando una per migliorare la pertinenza dei risultati di ricerca. OpenAI ha annunciato il più grande, chiamato GPT-3, a giugno 2020 e lo ha concesso in licenza esclusivamente a Microsoft pochi mesi dopo.
Gebru era preoccupata per la velocità con cui la tecnologia si diffondeva. Nel suo articolo, scritto con Bendere e altri cinque studiosi, ha dettagliato i possibili pericoli. I modelli erano estremamente costosi da creare, sia dal punto di vista ambientale (richiedono enormi quantità di potenza computazionale) sia dal punto di vista finanziario, sono stati spesso addestrati sul linguaggio tossico e offensivo di Internet e sarebbero arrivati a dominare la ricerca sull’intelligenza artificiale del linguaggio, sgomitando alternative promettenti.
Come altre tecniche di intelligenza artificiale esistenti, i modelli in realtà non comprendono il linguaggio. Ma poiché possono manipolarlo per recuperare informazioni testuali per gli utenti o generare conversazioni naturali, possono essere confezionati in prodotti e servizi che fanno guadagnare un sacco di soldi alle aziende tecnologiche.
Quel novembre, Gebru ha presentato il documento a una conferenza. Poco dopo, i dirigenti di Google le hanno chiesto di ritrattare e, quando ha rifiutato, l’hanno licenziata. Due mesi dopo, hanno licenziato anche la coautrice Margaret Mitchell, l’altra leader del team di intelligenza artificiale etica.
Lo smantellamento di quella squadra ha scatenato una delle più grandi controversie all’interno del mondo dell’AI nella memoria recente. I difensori di Google hanno sostenuto che l’azienda ha il diritto di supervisionare i propri ricercatori. Ma per molti altri, l’episodio ha consolidato i timori sul grado di controllo che i giganti della tecnologia hanno ora sul campo. Big Tech è il principale datore di lavoro e finanziatore dei ricercatori di intelligenza artificiale, inclusi, in qualche modo paradossalmente, molti di coloro che valutano i suoi impatti sociali.
Tra le aziende più ricche e potenti del mondo, Google, Facebook, Amazon, Microsoft e Apple hanno fatto dell’intelligenza artificiale una parte fondamentale della loro attività. I progressi dell’ultimo decennio, in particolare in una tecnica di intelligenza artificiale chiamata deep learning, hanno permesso loro di monitorare il comportamento degli utenti, consigliare loro notizie, informazioni e prodotti, e soprattutto indirizzarli con gli annunci. L’anno scorso l’apparato pubblicitario di Google ha generato oltre 140 miliardi di dollari di entrate e quello di Facebook 84 miliardi di dollari.
Le aziende hanno investito molto nella tecnologia che ha portato loro una ricchezza così vasta. La società madre di Google, Alphabet, ha acquisito il laboratorio di intelligenza artificiale Deep Mind con sede a Londra per 600 milioni di dollari nel 2014 e spende centinaia di milioni all’anno per supportare la sua ricerca. Microsoft ha firmato un accordo da 1 miliardo di dollari con OpenAI nel 2019 per i diritti di commercializzazione dei suoi algoritmi.
Allo stesso tempo, i giganti della tecnologia sono diventati grandi investitori nella ricerca universitaria sull’AI, influenzandone pesantemente le priorità scientifiche. Nel corso degli anni, scienziati sempre più ambiziosi sono passati a lavorare a tempo pieno per giganti della tecnologia o hanno esercitato una doppia affiliazione. Dal 2018 al 2019, il 58 per cento degli articoli più citati nelle prime due conferenze sull’AI aveva almeno un autore affiliato a un gigante della tecnologia, rispetto a solo l’11 per cento di un decennio prima, secondo uno studio condotto da ricercatori del Radical AI Network, un gruppo che cerca di sfidare le dinamiche di potere nel settore dell’intelligenza artificiale.
Il problema è che l’agenda aziendale per l’AI si è concentrata su tecniche con potenziale commerciale, ignorando in gran parte la ricerca che potrebbe aiutare ad affrontare sfide come la disuguaglianza economica e il cambiamento climatico. In effetti, ha peggiorato queste sfide. La spinta verso l’automazione delle attività ha comportato costi di lavoro e ha portato all’aumento di pratiche ripetitive come la pulizia dei dati e la moderazione dei contenuti.
La spinta a creare modelli sempre più grandi ha fatto esplodere il consumo di energia dell’AI. Il deep learning ha anche creato una cultura in cui i nostri dati vengono costantemente raschiati, spesso senza consenso, per addestrare prodotti come i sistemi di riconoscimento facciale. E gli algoritmi di raccomandazione hanno esacerbato la polarizzazione politica, mentre i modelli linguistici di grandi dimensioni non sono riusciti a sconfiggere la disinformazione.
È questa situazione che Gebru e un crescente movimento di studiosi che la pensano allo stesso modo vogliono cambiare. Negli ultimi cinque anni, hanno cercato di spostare le priorità del settore dal semplice arricchimento delle aziende tecnologiche, ampliando il novero di chi può partecipare allo sviluppo della tecnologia. Il loro obiettivo non è solo mitigare i danni causati dai sistemi esistenti, ma creare una nuova AI più equa e democratica.
“Ciao da Timnit”
Nel dicembre del 2015, Gebru iniziò a scrivere una lettera aperta. A metà del suo dottorato di ricerca a Stanford, aveva partecipato alla Neural Information Processing Systems, la più grande conferenza annuale di ricerca sull’intelligenza artificiale. Degli oltre 3.700 ricercatori presenti, Gebru contava solo una manciata di neri.
Allora, un incontro su un argomento accademico di nicchia, NeurIPS (come è ora noto) stava rapidamente diventando l’appuntamento annuale di riferimento dei lavori sull’intelligenza artificiale. Le aziende più ricche del mondo stavano arrivando per mostrare demo, organizzare feste stravaganti e scrivere assegni pesanti per i ricercatori di AI della Silicon Valley.
Quell’anno Elon Musk arrivò per annunciare l’impresa no profit OpenAI. Lui, l’allora presidente di Y Combinator, Sam Altman, e il cofondatore di PayPal Peter Thiel avevano messo a disposizione 1 miliardo di dollari per risolvere quello che credevano essere il problema di fondo: la prospettiva che una superintelligenza potesse un giorno conquistare il mondo. La loro soluzione era costruire una superintelligenza ancora migliore. Dei 14 consiglieri o membri del team tecnologico, 11 erano uomini bianchi.
Mentre Musk veniva celebrato, Gebru aveva a che fare con umiliazioni e molestie. A una festa durante la conferenza, un gruppo di ragazzi ubriachi con le magliette di Google Research la circondò e la sottopose ad abbracci indesiderati, un bacio sulla guancia e una foto. Gebru si lanciò in una critica feroce di ciò che aveva osservato: lo spettacolo, l’adorazione simile a un culto delle celebrità dell’AI e, soprattutto, la schiacciante omogeneità.
Google aveva già implementato un algoritmo di visione artificiale che classificava i neri come gorilla, osservò. La crescente sofisticazione dei droni senza pilota stava mettendo le forze armate statunitensi su un percorso verso armi letali del tutto autonome. Ma non c’era alcuna menzione di questi problemi nel grande piano di Musk per impedire all’AI di conquistare il mondo in uno scenario futuro teorico. “Non dobbiamo proiettarci nel futuro per vedere i potenziali effetti negativi dell’AI”, ha scritto Gebru. “Sta già accadendo”.
Gebru non ha mai pubblicato la sua riflessione. Ma era consapevole che qualcosa doveva cambiare. Il 28 gennaio 2016, inviò un’e-mail con oggetto “Hello from Timnit” ad altri cinque ricercatori di Black AI. “Sono sempre stata triste per la ‘mancanza di colore’ nell’intelligenza artificiale”, ha scritto. “Ma ora ho visto 5 di voi 🙂 e ho pensato che sarebbe bello se inaugurassimo un gruppo nero di AI o almeno ci conoscessimo”.
L’e-mail provocò una discussione. Che rapporto c’era tra l’essere neri e la loro ricerca? Per Gebru, il suo lavoro era in gran parte un prodotto della sua identità; per altri no. Ma dopo essersi incontrati hanno concordato: se l’AI doveva svolgere un ruolo più importante nella società, erano necessari più ricercatori neri. Altrimenti, il campo avrebbe raggiunto un livello scientifico più basso con le relative conseguenze negative.
Un’agenda orientata al profitto
Mentre Black in AI stava si stava per formare, l’intelligenza a artificiale stava avventurandosi nell’ambito commerciale. Quell’anno, il 2016, i giganti della tecnologia spesero dai 20 ai 30 miliardi di dollari per sviluppare la tecnologia, secondo il McKinsey Global Institute. Sotto la spinta degli investimenti aziendali, il campo si è deformato. Altre migliaia di ricercatori hanno iniziato a studiare l’intelligenza artificiale, ma volevano principalmente lavorare su algoritmi di deep learning, come quelli alla base di modelli linguistici di grandi dimensioni.
“Come giovane studente di dottorato che vuole trovare lavoro in un’azienda tecnologica, ti rendi conto che le aziende tecnologiche sono tutte incentrate sull’apprendimento profondo”, afferma Suresh Venkatasubramanian, un professore di informatica che ora lavora all’Office of Science and Technology Policy della Casa Bianca. “Quindi indirizzi tutte le tue ricerche sul deep learning”.
Ma il deep learning non è l’unica tecnica nel campo. Prima del suo boom, esisteva un diverso approccio all’intelligenza artificiale noto come ragionamento simbolico. Mentre il deep learning utilizza enormi quantità di dati per insegnare agli algoritmi le relazioni significative nelle informazioni, il ragionamento simbolico si concentra sulla codifica esplicita della conoscenza e della logica basate sull’esperienza umana.
Alcuni ricercatori ora credono che queste tecniche dovrebbero essere combinate. L’approccio ibrido renderebbe l’AI più efficiente nell’uso dei dati e dell’energia e le darebbe le conoscenze e le capacità di ragionamento di un esperto, nonché la capacità di aggiornarsi con nuove informazioni. Ma le aziende hanno pochi incentivi a esplorare approcci alternativi quando il modo più sicuro per massimizzare i propri profitti è costruire modelli sempre più grandi.
Nel loro articolo, Gebru e Bender hanno alluso a un costo fondamentale di questa tendenza a rimanere fedeli al deep learning: i sistemi di intelligenza artificiale più avanzati di cui abbiamo bisogno non sono in fase di sviluppo e problemi simili continuano a ripresentarsi. Facebook, per esempio, si basa molto su modelli linguistici di grandi dimensioni per la moderazione automatizzata dei contenuti. Ma senza capire veramente il significato dietro il testo, questi modelli spesso falliscono. Eliminano regolarmente post innocui mentre lasciano passare incitamenti all’odio e disinformazione.
I sistemi di riconoscimento facciale basati sull’intelligenza artificiale soffrono dello stesso problema. Sono addestrati su enormi quantità di dati, ma vedono solo modelli di pixel: non hanno una comprensione di concetti visivi come occhi, bocche e nasi. Ciò può far scattare questi sistemi quando vengono utilizzati su individui con colori della pelle diverso da quello delle persone che sono state mostrate durante l’allenamento. Tuttavia, Amazon e altre aziende hanno venduto questi sistemi alle forze dell’ordine e negli Stati Uniti hanno provocato tre arresti della persona sbagliata, tutti uomini di colore, nell’ultimo anno.
Da diverso tempo, molti nella comunità dell’AI hanno ampiamente accettato il ruolo delle Big Tech nel plasmare lo sviluppo e l’impatto di queste tecnologie. Mentre alcuni hanno espresso disagio per l’invadenza aziendale, molti altri hanno accolto con favore gli abbondanti finanziamenti provenienti dal settore.
Ma poiché le carenze dell’AI di oggi sono diventate più evidenti, la fede nella Big Tech si è indebolita. La cacciata di Gebru e Mitchell da parte di Google ha ulteriormente alimentato la discussione rivelando quanto le aziende diano priorità al profitto rispetto all’autocontrollo. Oltre 2.600 dipendenti di Google e altri 4.300 hanno firmato una petizione che denuncia il licenziamento di Gebru come “censura della ricerca senza precedenti”.
Sei mesi dopo, i gruppi di ricerca continuano a rifiutare il finanziamento dell’azienda, i ricercatori non accettano di partecipare alle conferenze aziendali e i dipendenti se ne vanno per protesta. A differenza di cinque anni fa, quando Gebru ha iniziato a sollevare queste domande, ora c’è un movimento ben consolidato che si chiede cosa dovrebbe essere l’AI e la sua funzione. Questa non è una coincidenza. È in gran parte un prodotto dell’iniziativa di Gebru, che è iniziata con il semplice atto di chiedere la presenza di più ricercatori neri nel settore.
Ci vuole una conferenza
A dicembre del 2017, il nuovo gruppo Black in AI ha ospitato il suo primo workshop presso NeurIPS. Durante l’organizzazione dei lavori, Gebru si è avvicinata a Joy Buolamwini, una ricercatrice del MIT Media Lab che stava studiando i possibili pregiudizi dei sistemi di riconoscimento facciale commerciali. Buolamwini aveva iniziato a testare i sistemi dopo che uno di questi non era riuscito a rilevare il proprio volto a meno che non avesse indossato una maschera bianca. Ha quindi presentato i suoi risultati preliminari al workshop.
Deborah Raji, allora ricercatrice universitaria, era un’altra dei primi partecipanti. Raji era sconvolta da quanto aveva osservato a NeurIPS. Il laboratorio era diventato il suo momento di tregua. Successivamente, Buolamwini, Raji e Gebru hanno collaborato a un paio di studi innovativi sui sistemi di visione artificiale discriminatori. Buolamwini e Gebru hanno invece scritto insieme Gender Shades, che ha dimostrato che i sistemi di riconoscimento facciale venduti da Microsoft, IBM e dal gigante tecnologico cinese Megvii avevano tassi di fallimento notevolmente alti con le donne nere nonostante prestazioni quasi perfette con gli uomini bianchi.
Raji e Buolamwini hanno anche lavorato a un follow-up chiamato Actionable Auditing, che ha riscontrato gli stessi problemi in Rekognition di Amazon, che nel 2020 ha concordato una moratoria di un anno sulle vendite alla polizia del suo prodotto, in parte a causa di quel lavoro.
Al primo workshop di Black in AI, però, questi successi erano possibilità lontane. Non c’era altro programma che quello di costruire una comunità e fare ricerche. Molti spettatori non capivano perché un tale gruppo avesse bisogno di esistere. Gebru ricorda i commenti sprezzanti di alcuni membri della comunità di intelligenza artificiale. Ma per altri, Black in AI ha indicato una nuova strada da seguire.
Ciò è stato vero per William Agnew e Raphael Gontijo Lopes, entrambi dichiaratamente queer, esperti di informatica, che decisero di formare un gruppo Queer in AI (altri gruppi che hanno preso forma includono Latinx in AI, {Dis}Ability in AI e Muslim in ML). Per Agnew, in particolare, avere una tale comunità sembrava una necessità. “Era difficile persino immaginare di avere una vita felice”, dice, riflettendo sulla mancanza di modelli queer nel campo. “C’era Turing, ma si è suicidato. Quindi è deprimente. E la parte queer di lui viene semplicemente ignorata”.
Non tutti i membri del gruppo di affinità vedono una connessione tra la loro identità e la loro ricerca. Tuttavia, ogni gruppo ha stabilito una competenza particolare. Black in AI è diventato il centro intellettuale per denunciare la discriminazione algoritmica, criticare la sorveglianza e sviluppare tecniche di intelligenza artificiale efficienti per i dati. Queer in AI è diventato un centro per contestare i modi in cui gli algoritmi violano la privacy delle persone e le classificano in categorie limitate per impostazione predefinita.
Venkatasubramanian e Gebru hanno anche contribuito a promuovere la conferenza Fairness, Accountability and Transparency (FAccT) per creare un forum per la ricerca sulle implicazioni sociali e politiche dell’AI. Le idee e le bozze di documenti discusse durante i workshop del gruppo di affinità NeurIPS spesso diventano la base per i documenti pubblicati su FAccT, che poi mostrano quella ricerca a un pubblico più ampio.
È stato dopo che Buolamwini ha presentato il lavoro al primo workshop Black in AI, per esempio, che FAccT ha pubblicato Gender Shades. Insieme a Actionable Auditing, ha poi alimentato diverse importanti campagne di educazione e di advocacy per limitare l’uso del riconoscimento facciale da parte del governo. Quando Amazon ha tentato di minare la legittimità della ricerca di Buolamwini e Raji, decine di ricercatori di intelligenza artificiale e organizzazioni della società civile si sono uniti per difenderli, prefigurando ciò che avrebbero fatto in seguito per Gebru. Questi sforzi alla fine hanno contribuito alla moratoria di Amazon, che a maggio l’azienda ha annunciato che sarebbe stata estesa a tempo indeterminato.
La ricerca ha anche innescato forme di regolamentazione a cascata. Più di una dozzina di città hanno vietato l’uso del riconoscimento facciale da parte della polizia e il Massachusetts ora impone alla polizia di richiedere il permesso di un giudice per usarlo. Sia gli Stati Uniti che la Commissione europea hanno proposto un regolamento aggiuntivo.
Seguire i soldi
Dopo il licenziamento di Gebru e Mitchell, il settore è di nuovo alle prese con una domanda secolare: è possibile cambiare lo status quo dall’interno? Gebru crede che lavorare con i giganti della tecnologia sia il modo migliore per identificare i problemi, ma che i ricercatori aziendali abbiano bisogno di tutele legali più forti. Se vedono pratiche rischiose, dovrebbero essere in grado di condividere pubblicamente le loro osservazioni senza mettere a repentaglio la loro carriera.
Poi c’è la questione dei finanziamenti. Molti ricercatori vogliono maggiori investimenti dal governo degli Stati Uniti per sostenere il lavoro che è critico per lo sviluppo dell’AI commerciale e fa progredire il benessere pubblico. L’anno scorso, è stato stanziato un misero miliardo di dollari in ricerche sull’intelligenza artificiale non legate alla difesa. L’amministrazione Biden chiede ora al Congresso di investire ulteriori 180 miliardi di dollari in tecnologie emergenti, con l’intelligenza artificiale come priorità assoluta.
Tali finanziamenti potrebbero aiutare persone come Rediet Abebe, una ricercatrice di informatica dell’Università della California, a Berkeley. Abebe vuole coniugare l’intelligenza artificiale con l’equità sociale. Ma quando ha iniziato il suo dottorato di ricerca alla Cornell, nessuno era interessato a questo filone di ricerca. Nell’autunno del 2016,durante il dottorato, ha iniziato un piccolo gruppo di lettura con un collega studente laureato per studiare argomenti come la precarietà abitativa, l’accesso all’assistenza sanitaria e la disuguaglianza. Ha quindi intrapreso un nuovo progetto per vedere se le sue capacità computazionali potevano supportare gli sforzi per alleviare la povertà.
Alla fine, ha scoperto Poverty Tracker, un set di dati dettagliati sugli imprevisti finanziari – spese mediche o multe per il parcheggio – fronteggiati da più di 2.000 famiglie di New York. Nel corso di molte conversazioni con gli autori dello studio, gli assistenti sociali e le organizzazioni non profit al servizio delle comunità emarginate, ha appreso i loro bisogni e ha detto loro come poteva aiutare. Abebe ha poi sviluppato un modello che ha mostrato come la frequenza e il tipo di imprevisti hanno influenzato lo stato economico di una famiglia.
Cinque anni dopo, il progetto è ancora in corso. Ora sta collaborando con organizzazioni non profit per migliorare il suo modello e collaborando con i responsabili delle politiche attraverso il California Policy Lab per utilizzarlo come strumento per prevenire la diffusione del fenomeno dei senzatetto. Da allora, anche il suo gruppo di lettura è diventato una comunità di 2.000 persone e quest’anno terrà la sua conferenza inaugurale.
Abebe lo vede come un modo per incentivare più ricercatori a capovolgere le norme dell’AI. Mentre le tradizionali conferenze di informatica enfatizzano il progresso delle tecniche computazionali per il gusto di farlo, nei nuovi lavori si cerca innanzitutto di comprendere in profondità un problema sociale. Lo studio non è meno tecnico, ma pone le basi per l’emergere di un’intelligenza artificiale più significativa dal punto di vista sociale. “Questi cambiamenti che cerchiamo di introdurre non riguardano solo i gruppi emarginati”, conclude Abebe, “ma sono per tutti”.
Immagine: Nella fila in alto da sinistra: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Seconda fila: Joy Buolamwini. Terza fila da sinistra: William Agnew, Timnit Gebru.Ricardo Santos
