Il licenziamento della co-responsabile dell’AI etica, una voce di spicco nel panorama del settore, ha scatenato un dibattito sulla crescente influenza aziendale sul mondo dell’intelligenza artificiale, sulla scarsa diversità etnica nella tecnologia e sul concetto stesso di ricerca.
di Karen Hao
Al 15 dicembre, oltre 2.600 dipendenti di Google e altri 4.300 nel mondo accademico, industriale e della società civile avevano firmato una petizione in cui si denunciava il licenziamento di Gebru, definendolo “censura della ricerca senza precedenti” e “un atto di ritorsione”. La studiosa è nota per il lavoro fondamentale sulla discriminazione nell’AI, nello sviluppo di metodi per documentare e controllare i modelli di AI e nel sostenere l’esigenza di una maggiore diversità nella ricerca.
Nel 2016, ha cofondato l’organizzazione no-profit Black in AI, che è diventata il punto di riferimento degli attivisti per i diritti civili, organizzatori del lavoro e importanti ricercatori di etica dell’AI, nel tentativo di valorizzare il talento dei ricercatori neri. La perdita del lavoro non ha rallentato Gebru. La settimana successiva, ha preso parte a diversi seminari a NeurIPS, la più grande conferenza annuale di ricerca sull’AI, a cui hanno partecipato quest’anno oltre 20.000 persone.
È stato “terapeutico”, ella dice, vedere come la comunità che aveva aiutato a costruire si è sostenuta a vicenda. Adesso, un’altra settimana dopo, si sta solo rilassando e riprendendo fiato, cercando di dare un senso a quanto successo. Qualche giorno fa, ho incontrato Gebru su Zoom. Ha raccontato cosa è successo durante il suo periodo a Google, ha riflettuto su cosa ha significato per il campo e la ricerca sull’etica dell’AI e ha dato consigli a coloro che ritengono responsabili le aziende tecnologiche. Si può anche ascoltare un episodio speciale del nostro podcast, In Machines We Trust, per i momenti salienti di questa intervista (Google ha rifiutato di dare un commento).
Innanzitutto, come sta?
Mi sento come se non avessi davvero avuto il tempo di elaborare emotivamente tutto ciò che è accaduto e le sue ripercussioni. Sto solo continuando ad andare avanti, anche se sento che probabilmente cadrò a pezzi a un certo punto quando ci sarà un momento di tregua. In questo momento sono solo molto preoccupata per il mio team e per le persone che mi supportano, perché non vorrei che subissero ritorsioni.
Ci sono stati così tanti resoconti di ciò che è accaduto. Però, volevo cominciare dal passato. Cosa l’ha spinta originariamente a scegliere di lavorare per Google e com’era Google allora?
Penso che Samy (Bengio, direttore di Google AI) e Jeff (Dean, vicepresidente senior di Google Research) fossero al workshop Black in AI [a NeurIPS nel 2017]. Mi hanno chiesto cosa facessi e hanno aggiunto: “Dovresti venire a lavorare in Google”. Non era nei miei piani. All’epoca stavo facendo il mio postdoc presso Microsoft Research (MSR). Non sapevo cosa avrei fatto dopo, ma ero sicura di voler tornare nella Bay Area e di aprire un ufficio ad Accra, in Ghana. Ho pensato che accettare il lavoro mi avrebbe aiiutato.
Avevo parecchi dubbi. Ero a New York City all’MSR, a contatto con molte studiose importanti : Danah Boyd, Hannah Wallach, Jen [Chayes], Kate Crawford, Mary Grey. Ma non c’erano donne di colore. Le uniche donne nere che conosco nel settore di ricerca di Microsoft erano Danielle Bellgrave nel Regno Unito e Shawndra Hill a New York. Tuttavia, anche gli uomini erano molto collaborativi.
Ero molto riluttante ad andare in un ambiente in cui sapevo che il settore della ricerca di Google non era molto attenta alle esigenze delle donne. C’erano una serie di problemi di cui avevo sentito parlare dalle mie amiche. In effetti, quando ho detto che sarei andata a Google Research, un certo numero di persone mi ha chiesto di rifletterci bene sopra.
E’ stata una lotta continua. Ho cercato di parlare con le persone, di aprire loro gli occhi. Samy mi ha appoggiato da subito. La gente si lamentava del fatto che Google Research assumesse solo il 14 per cento di donne. Samy, il mio manager, è arrivato al 39 per cento, senza alcun incentivo a farlo. Probabilmente non mi è successo nulla prima perché mi stava proteggendo. I miei due anni a Google sono stati così. In realtà, nell’ultimo periodo pensavo che le cose andassero meglio, perché il nostro team era solido.
Si è parlato tanto di diversità e inclusione, ma con tanta ipocrisia. Sono una dell’1,6 per cento di donne nere di Google. Nella settore della ricerca la percentuale è ancora più bassa. Sono stata sicuramente la prima donna di colore a essere una ricercatrice di Google. Dopo di me, sono arrivate altre due donne nere. Tre su Dio sa quanti.
A un certo punto mi sono addirittura stancata di parlare di diversità. È solo estenuante. Non ti ascoltano. Ho scritto un milione di documenti su un milione di cose legate alla diversità – sull’alfabetizzazione razziale e l’apprendimento automatico, iniziative per l’equità nel machine learning, sulla specificità femminile. Tanti documenti e tante email.
Non c’è stata un solo periodo di vacanza a Google in cui non fossi nel mezzo di un problema. E’ come se qualcuno ti sta sparando con una pistola e tu stai urlando. Invece di fermare chi sta sparando, cercano di impedirti di urlare. Ecco come ci si sente. Un dolore senza sosta.
Lei ha creato uno dei team più diversificati nel settore dell’AI. Quali ostacoli ha dovuto superare?
Abbiamo dovuto combattere ogni tipo di problema. Dovevo essere un manager, ma le persone non volevano che lo fossi. Allora ho fondato una famosa organizzazione non profit. Ho chiesto perché ci fossero tante preoccupazioni sulla mia condizione di manager e Samy mi ha fatto pervenire questo messaggio: “Sa che può essere licenziata per queste cose? Sa che se diventa manager, dovrà essere un rappresentante di Google?”.
Poi le persone hanno criticato il fatto che sembrassi insoddisfatta di Google. Non dicevano: “Oh, c’è un clima tossico nell’azienda che rende infelici le persone come lei. Quindi cambiamo lo stato delle cose”. No, non sono state queste le parole, ma: “Sembra infelice, quindi non può diventare manager”.
Ero livida in quel momento. Ero così arrabbiata. Chiedevo a chiunque diventasse manager al mio livello quale fosse la sua esperienza. Pensavo: “Questa persona è diventata un manager e nessuno gli ha mai chiesto se sapeva che sarebbe stato licenziato per X, Y e Z. Quest’altra persona è diventata un manager. Nessuno gli ha fatto storie. Io sono stata trattata in modo differente”.
Durante il periodo in cui stava creando il suo team, è riuscita a costruire relazioni con altri gruppi di lavoro di Google? Alcune parti dell’organizzazione stavano diventando più ricettive sulle questioni etiche dell’AI?
La maggior parte delle persone nel nostro team sono inondate di richieste da altre squadre o altre persone. E una delle nostre sfide era quella di non essere sempre pressati dall’emergenza, perché volevamo dare forma a ciò che accade in futuro e non solo reagire agli eventi. La più grande discrepanza che vedo è che ci sono tante persone che ci sostengono, ma poi altre al vertice, come i vicepresidenti, che forse non ci sopportano o semplicemente non rispettano affatto la nostra autorità o competenza. L’ho verificato più volte. Ma le persone in Google Cloud, o Cloud AI in particolare, alcuni dei dirigenti senior, sono stati di grande supporto. Ho i miei sospetti su quali vicepresidenti invece avessero seri dubbi sulla nostra competenza o leadership.
Puo spiegarsi meglio?
Prendiamo l’e-mail di Jeff. Presumo che qualcun altro l’abbia scritta e lui l’abbia solo inviata. Nella mail si parla di come la nostra ricerca, un articolo su modelli linguistici di grandi dimensioni, avesse delle lacune, mancasse di riferimenti alla letteratura scientifica. Ma non stiamo mica parlando di revisione tra pari. Non è il recensore che ti dice: “Ehi, c’è una citazione mancante”. Si tratta di un gruppo di persone, che non conosciamo, che sono in alto perché sono in Google da molto tempo, a cui, per qualche motivo sconosciuto, è stato dato il potere di bloccare questa ricerca.
Avevamo 128 citazioni sul documento e abbiamo inviato il nostro articolo a molte delle persone che abbiamo citato. Siamo stati scrupolosi. Ho detto di raggruppare le persone a cui chiederemo feedback in quattro gruppi. Le persone che hanno sviluppato da sole grandi modelli linguistici, con una loro prospettiva. Le persone che lavorano nell’area della comprensione e mitigazione del pregiudizio in questi modelli. Le persone che potrebbero non essere d’accordo con il nostro punto di vista. Le persone che usano questi grandi modelli linguistici a più scopi. Abbiamo un intero documento dei diversi feedback che avremmo dovuto esaminare e esaminerò prima di pubblicare questo lavoro.
Ma i leader di Google ci hanno parlato con un tono che non teneva assolutamente conto del fatto che si trovassero di fronte a esperti e linguisti di fama mondiali, come nel caso di Emily Bender, una professoressa dell’Università di Washington coautrice dell’articolo.
Prima di questo particolare documento, ci sono stati casi precedenti in cui ha mai pensato che Google stesse mettendo i bastoni tra le ruote al suo team?
A volte i risultati della ricerca venivano annacquati. Sono state contestate determinate formulazioni o alcune specifiche. È quello che ho pensato che avrebbero fatto anche con questo documento. Per questa ragione ho chiesto: “Cosa ne pensate? Aggiungo o tolgo qualcosa? Le mie domande erano nella e-mail del venerdì dopo il Ringraziamento (il 27 novembre, cinque giorni prima del licenziamento di Gebru) perché ho passato la festività a scrivere il documento invece di divertirmi con la mia famiglia.
Il giorno successivo, ho scritto: “Allora, questo documento di sei pagine è aperto a qualsiasi suggerimento. Spero che ci sia un confronto invece di ulteriori ordini”. Megan Kacholia, VP of Engineering presso Google Research, ha risposto a questa email, dicendo: “Può farmi sapere se ha ritirato l’articolo o ha tolto i nomi degli autori. Aspetto un’e-mail di conferma. Grazie”.
Successivamente ho scritto che questo comportamento è stato estremamente irrispettoso nei confronti del team di Ethical AI, e che ci sarebbe dovuta essere una discussione franca, non solo con Jeff e il nostro team, e Megan e il nostro team, ma con l’intero gruppo di ricerca sul rispetto per i ricercatori e sulle modalità della discussione. Nessun impegno di questo genere.
Quando Megan ci ha detto di ritirare il documento, ho iniziato a piangere. Ero così arrabbiata perché ho pensato che se avessi ignorato tutta questa ipocrisia su diversità, equità e inclusione e mi fossi concentrata solo sul mio lavoro, almeno avrei potuto portarlo a termine. Ora saltava tutto. Così ho letteralmente iniziato a piangere.
Cosa pensa che sia stato di questo particolare documento che ha provocato reazioni così decise? Era solo per il contenuto o i fattori in gioco erano altri?
Non lo so. Samy era inorridito da tutta la faccenda. Non si trattano in questo modo le persone. Probabilmente hanno pensato che sarei rimasta tranquilla. Veramente, non lo so. Non credo, però, che il problema fosse solo questo documento. Forse sono rimasti sorpresi dal fatto che io abbia reagito in qualche modo. Sto ancora cercando di capire cosa sia successo.
Hai mai sospettato, sulla base degli eventi e delle tensioni precedenti, che sarebbe finita in questo modo? E si aspettava la risposta della community?
Ho pensato spesso che mi avrebbero reso così infelice da andarmene, o qualcosa del genere. Ritenevo comunque che lo avrebbero fatto in modo più intelligente, senza sollevare conflitti relativi alla censura della ricerca, all’intelligenza artificiale etica, ai diritti del lavoro. Quindi non mi aspettavo che sopprimessero il mio account aziendale. È spietato. Non è quello che fanno alle persone che hanno avuto una condotta non irreprensibile. In genere gli danno 80 milioni di dollari o non li promuovono o altro.
Dal gruppo mi aspettavo un sostegno, ma non nella misura in cui è arrivato. È stato incredibile. Non ho mai, mai provato qualcosa di simile. Molte persone stanno correndo rischi per dichiararmi la loro solidarietà. E questo mi preoccupa, perché voglio che siano al sicuro.
Cosa ci fa capire questa particolare esperienza sull’influenza delle aziende tecnologiche sull’intelligenza artificiale in generale e sulla loro capacità di svolgere effettivamente un lavoro significativo nell’etica dell’AI?
In molti hanno messo a confronto Big Tech e Big Tobacco e il loro modo di censurare la ricerca, anche se queste grandi aziende sono a conoscenza dei problemi da qualche tempo. Respingo la dicotomia accademia contro tecnologia, perché entrambe hanno lo stesso tipo di paradigma razzista e sessista. Sono tutti amici e partecipano alle stesse conferenze.
Non penso che la lezione sia che non dovrebbe esserci alcuna ricerca etica sull’AI nelle aziende tecnologiche, ma che ci debba essere molta più ricerca indipendente. La scelta non può essere solo tra DARPA o aziende. Inoltre è necessaria la supervisione delle aziende tecnologiche, ovviamente. A questo punto non capisco come possiamo continuare a pensare che si autoregoleranno sulla DEI o sull’etica o qualunque cosa sia. Non hanno fatto la cosa giusta e non la faranno.
Penso anche che le istituzioni accademiche e le conferenze debbano ripensare ai loro rapporti con le grandi aziende e alla quantità di denaro che stanno prendendo da loro. Alcune persone si chiedevano persino, per esempio, se alcune di queste conferenze dovessero avere un codice di condotta del tipo “nessuna censura” o qualcosa del genere. In questo momento c’è troppo squilibrio di potere.
Quale ruolo ritiene che possano svolgere i ricercatori di etica all’interno delle aziende? In particolare, se il suo ex team rimane in Google, che tipo di percorso vede per loro in termini di possibilità di produrre un lavoro significativo?
Credo che ci sia bisogno di una sorta di protezione per questi ricercatori. In questo momento, è ovviamente molto difficile immaginare come si possa fare una vera ricerca all’interno di queste aziende. Ma con una migliore supervisione, una maggiore protezione del lavoro e di chi denuncia illeciti, potrebbe essere più facile sentirsi garantiti.
Se ci si trova in un ambiente in cui le persone che hanno il potere non vogliono cambiare nulla difficilmente se ne esce fuori. Ma penso che se riusciamo a creare meccanismi di responsabilità e controllo, meccanismi di protezione, spero che possiamo consentire a ricercatori propositivi di continuare a lavorare nelle aziende. Ma molto deve cambiare perché ciò avvenga.
Oltre a fare in modo che conferenze o regolamenti cambino le strutture degli incentivi, ci sono altri meccanismi o iniziative che potrebbero far parte di questo quadro di controllo esterno? Vede un ruolo che il pubblico potrebbe svolgere nel responsabilizzare le aziende tecnologiche?
Ancora non ho un’idea precisa sull’argomento. Penso che il pubblico debba essere più informato sul ruolo che le aziende tecnologiche, e anche l’AI, stanno giocando nella nostra vita quotidiana. Molti hanno fatto davvero un ottimo lavoro. Per esempio, un libro come Weapons of Math Destruction il documentario Coded Bias aiutano molto a capire la situazione. Sono anche felice di iniziare a vedere università che offrono alcuni di questi corsi di informatica, come quelli di Nicki Washington alla Duke e Ruha Benjamin a Princeton.
Credo che debba cambiare il modo in cui vediamo lo sviluppo della scienza e dell’ingegneria. Il pubblico ha bisogno di capire la natura politica di questo lavoro. I sistemi di istruzione superiore, secondo me, sono molto indietro sotto questo punto di vista. Hanno bisogno di fare molto lavoro.
Per quanto riguarda il pubblico, tre o quattro anni fa la consapevolezza era minore. Adesso organizzazioni come l’ACLU (American Civil Liberties Union) sono direttamente coinvolte; così come l’Algorithmic Justice League e Data for Black Lives. Il pubblico dovrebbe saperne di più, ma i politici non stanno offrendo questa possibilità.
Per esempio, l’azienda di analisi dei dati Palantir veniva utilizzata a New Orleans per la polizia predittiva e nessuno lo sapeva. Non c’è stata alcuna discussione al riguardo. Quindi il nostro governo deve dare attivamente al pubblico la possibilità di valutare cosa sta accadendo.
Cosa significa fare un lavoro significativo sull’etica dell’AI?
Probabilmente mettere in discussione le premesse fondamentali e le questioni fondamentali dell’AI. Si può avere una visione previdente del futuro e intervenire nella fase di progettazione e sviluppo dei prodotti e non solo successivamente. Inoltre, le persone più coinvolte dalla tecnologia dovrebbero avere voce in capitolo, sin dall’inizio.
Ha già menzionato come l’etica nelle aziende tecnologiche spesso si muova dall’alto verso il basso, da persone che non sono necessariamente quelle che subiscono l’impatto della tecnologia. Qual è l’equilibrio ideale per tenere conto di chi non ha voce e mantenere il consenso da parte della leadership?
Se le persone ai margini non hanno potere, allora nessuno sarà pronto ad ascoltarle. Quindi penso che chi è al vertice debba creare le condizioni per far sì che le persone ai margini possano dire la loro su questioni come l’etica dell’AI, la diversità e l’inclusione. Non è quello che sta succedendo adesso. Andando su Google si vede che tutte le persone di alto livello che si occupano di etica dell’AI non fanno parte dei gruppi sottorappresentati. Prima ancora di pensare ai prodotti che si stanno realizzando o alla ricerca che si porta avanti, si dovrebbe immaginare come lavorare con chi si trova ai margini per plasmare la tecnologia.
Cosa si aspetta ora?
Oddio. Non ho avuto tempo per pensarci. In questo momento sto principalmente cercando di assicurarmi che il mio team sia al sicuro, assicurarmi che venga detta la verità su quanto mi è successo e staccare un po’ la spina. Ma ora la mia priorità è non trovarmi in futuro in ambienti di lavoro simili.
Che consiglio darebbe ad altre persone che vogliono seguire la sua strada?
Il mio consiglio è di documentarsi su alcuni autori come, Ruha Benjamin, Meredith Broussard, Safiya Noble, Simone Browne e di fare affidamento sull’esperienza vissuta. In un mio intervento al Caltech dal titolo The Hierarchy of Knowledge and Machine Learning, ho sostenuto che normalmente ci viene insegnato a vedere la scienza in modo oggettivo, senza adottare il nostro punto di vista su di essa. Penso che le persone dovrebbero fare l’esatto contrario.
Immagine di: Timnit Gebru.Nhung Le
(rp)
