La famosa ricercatrice di etica dell’AI ha evidenziato i rischi dei modelli linguistici di grandi dimensioni, che sono fondamentali per l’attività di Google.
di Karen Hao
La sera del 2 dicembre, Timnit Gebru, la co-responsabile del team di intelligenza artificiale etica di Google, ha annunciato su Twitter che l’azienda l’aveva licenziata. Gebru, una leader nel suo settore, è nota per aver scritto un documento fondamentale che ha dimostrato che il riconoscimento facciale è meno accurato nell’identificazione di donne e persone di colore, con un rischio alto di politiche discriminatorie.
Ha anche co-fondato il gruppo di affinità Black in AI e ha approfondito il tema della diversità nel settore tecnologico. Il team che ha aiutato a creare in Google è uno dei più diversificati in fatto di intelligenza artificiale e include molti dei principali esperti a pieno titolo. I colleghi del settore lo hanno sempre tenuto in grande considerazione per la produzione di un lavoro critico che spesso ha sfidato le pratiche di AI tradizionali.
Una serie di tweet, e-mail trapelate e articoli sui media hanno mostrato che la situazione di Gebru è stata il culmine di un conflitto su un altro articolo di cui è coautrice. Jeff Dean, il capo di Google AI, ha detto ai colleghi in un’e-mail interna (che da allora ha messo online) che il documento “non ha rispettato i nostri requisiti per la pubblicazione” e che Gebru aveva detto che si sarebbe dimessa a meno che Google non avesse accettato un certo numero di condizioni, impossibili da soddisfare per l’aziendae. Gebru ha twittato per negoziare “un nuovo incontro” per discutere del suo lavoro dopo essere tornata dalle vacanze, ma è stata tagliata fuori dal suo account di posta elettronica aziendale prima del suo ritorno.
Molti altri leader nel campo dell’etica dell’AI sostengono che l’azienda l’ha “scaricata” a causa delle scomode verità che stava scoprendo su una linea centrale della sua ricerca e forse sui suoi profitti. Più di 1.400 dipendenti di Google e 1.900 altri sostenitori hanno firmato una lettera di protesta.
Molti dettagli dell’esatta sequenza di eventi che hanno portato al licenziamento di Gebru non sono ancora chiari e sia lei che Google hanno rifiutato di commentare i loro post sui social media. Ma “MIT Technology Review” ha ottenuto una copia del documento di ricerca da uno dei coautori, Emily M. Bender, professore di linguistica computazionale all’Università di Washington.
Anche se Bender ci ha chiesto di non pubblicarlo perché gli autori non volevano che la bozza ancora da approfondire circolasse online, il documento offre alcune informazioni sulle domande che Gebru e i suoi colleghi stanno sollevando sull’AI e che potrebbero causare preoccupazione a Google.
Dal titolo On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, il documento espone i rischi dei modelli linguistici di grandi dimensioni di AI addestrati su quantità sbalorditive di dati di testo. Questi modelli sono diventati sempre più popolari e sempre più grandi – negli ultimi tre anni. Ora sono straordinariamente bravi, nelle giuste condizioni, a produrre quello che sembra un nuovo testo convincente e significativo e talvolta a comprendere il significato dal linguaggio. Ma, è scritto nell’introduzione al documento, “chiediamo se è stata prestata abbastanza attenzione ai potenziali rischi associati allo sviluppo di essi e alle strategie per mitigare questi rischi”.
Il documento, che si basa sul lavoro di altri ricercatori, presenta la storia dell’elaborazione del linguaggio naturale, una panoramica dei quattro rischi principali dei modelli di linguaggio di grandi dimensioni e una serie di suggerimenti per ulteriori ricerche. Poiché il conflitto con Google sembra riguardare i rischi, di seguito ne offriamo una rapida panoramica.
Costi ambientali e finanziari
L’addestramento di modelli di AI di grandi dimensioni consuma molta potenza di elaborazione del computer e quindi molta elettricità. Gebru e i suoi coautori fanno riferimento a un documento del 2019 di Emma Strubell e dei suoi collaboratori sulle emissioni di anidride carbonica e sui costi finanziari, in cui si vede che il loro consumo di energia e la loro impronta di carbonio sono esplosi dal 2017, poiché i modelli sono stati alimentati con sempre più dati. (Si veda tabella 1)
Lo studio di Strubell ha scoperto che un modello linguistico con un particolare tipo di metodo di “ricerca dell’architettura neurale” (NAS) avrebbe prodotto l’equivalente di 284 tonnellate metriche di anidride carbonica, circa la durata di vita di cinque auto americane medie. Una versione del modello linguistico di Google, BERT, che è alla base del motore di ricerca dell’azienda, ha prodotto 652 kg di CO2 equivalente nella stima di Strubell, a un volo di andata e ritorno tra New York City e San Francisco. (Si veda tabella 2)
La bozza del documento di Gebru sottolinea che di questi modelli di AI così ampi tendono a beneficiare le organizzazioni ricche, mentre il cambiamento climatico colpisce più duramente le comunità emarginate. “È ormai tempo”, scrivono, “che i ricercatori diano priorità all’efficienza energetica e ai costi per ridurre l’impatto ambientale negativo e l’accesso iniquo alle risorse”.
Dati illimitati, modelli imperscrutabili
I modelli di linguaggio di grandi dimensioni vengono addestrati anche su quantità di testo in aumento esponenziale. Ciò significa che i ricercatori hanno cercato di raccogliere tutti i dati possibili da Internet, con il rischio che un linguaggio razzista, sessista e altrimenti offensivo finisca nei dati di formazione.
Un modello di intelligenza artificiale che non riconosce il linguaggio razzista è ovviamente deleterio. I ricercatori, però, sottolineano un paio di problemi meno evidenti. Uno è che i cambiamenti nella lingua giocano un ruolo importante nel cambiamento sociale; i movimenti MeToo e Black Lives Matter, per esempio, hanno cercato di stabilire un nuovo vocabolario antisessista e antirazzista.
Un modello di intelligenza artificiale addestrato su vaste aree di Internet non sarà in sintonia con le sfumature di questo vocabolario e non produrrà o interpreterà un linguaggio in linea con queste nuove norme culturali.
Inoltre non riuscirà a comprendere la lingua e le norme di paesi e persone che hanno meno accesso a Internet e quindi una ricaduta linguistica minore online. Il risultato è che il linguaggio generato dall’intelligenza artificiale verrà omogeneizzato, riflettendo le pratiche dei paesi e delle comunità più ricchi.
Infine, poiché i set di dati di addestramento sono così vasti, è difficile controllarli per verificare i pregiudizi incorporati. “Una metodologia che si basa su set di dati troppo grandi per essere verificati è intrinsecamente rischiosa”, concludono i ricercatori. “Mentre il controllo dei contenuti consente di parlare di potenziale responsabilità, i dati di addestramento non documentati perpetuano danni senza rimedio”.
Costi legati alle opportunità della ricerca
I ricercatori riassumono la terza sfida come il rischio collegato a un”lavoro di ricerca mal indirizzato”. Sebbene la maggior parte dei ricercatori di intelligenza artificiale riconosca che i modelli di linguaggio di grandi dimensioni in realtà non comprendono il linguaggio e sono semplicemente eccellenti nel manipolarlo, le Big Tech possono fare profitti con modelli che manipolano il linguaggio in modo più accurato e quindi continuano a investire nel settore”.
Questi tentativi di ricerca comportano un costo di opportunità”, scrivono Gebru e i suoi colleghi. Non ci si impegna a lavorare su modelli di intelligenza artificiale che mirino a raggiungere la comprensione o che ottengano buoni risultati con set di dati più piccoli e più attentamente curati, per risparmiare anche il consumo di energia.
Illusioni di significato
Il problema finale con i modelli linguistici di grandi dimensioni, dicono i ricercatori, è che, vista la loro capacità di imitare il vero linguaggio umano, è facile usarli per ingannare le persone. Ci sono stati alcuni casi di alto profilo, come quello di uno studente universitario che con l’aiuto dell’intelligenza artificiale ha generato un blog, che è diventato virale.
I pericoli sono evidenti: i modelli di intelligenza artificiale potrebbero essere utilizzati per diffondere disinformazione su un’elezione o sulla pandemia di covid-19, per esempio. Possono anche provocare danni se usati per la traduzione automatica. I ricercatori fanno un esempio: nel 2017, Facebook ha tradotto male il post di un uomo palestinese, che diceva “buongiorno” in arabo, che è risultato “attaccarli” in ebraico, portando al suo arresto.
Il documento solleva questioni importanti
L’articolo di Gebru e Bender ha sei coautori, quattro dei quali sono ricercatori di Google. Bender ha chiesto di evitare di rivelare i loro nomi per paura di ripercussioni. L’obiettivo del documento, dice Bender, era di fare il punto sul panorama della ricerca attuale sull’elaborazione del linguaggio naturale. “Stiamo lavorando su una scala in cui chi definisce i modelli non può controllare tutti i dati”, egli continua. “E poiché gli aspetti positivi sono evidenti, è particolarmente importante fare un passo indietro e chiederci, quali sono i possibili svantaggi? Come possiamo mantenere i vantaggi e mitigare il rischio?”.
Nella sua e-mail interna, Dean, il capo dell’intelligenza artificiale di Google, ha affermato che uno dei motivi per cui il documento “non ha soddisfatto il nostro standard” era che “ignorava troppe ricerche pertinenti”. In particolare, ha citato la mancata menzione del lavoro più recente su come rendere i modelli di linguaggio di grandi dimensioni più efficienti dal punto di vista energetico e mitigare i problemi legati ai pregiudizi.
Tuttavia, i sei collaboratori hanno attinto a un’ampia gamma di borse di studio. L’elenco delle citazioni dell’articolo, con 128 riferimenti, è notevolmente lungo. “È il tipo di lavoro che nessun individuo o coppia di autori può realizzare”, ha detto Bender. “Ha davvero richiesto un alto livello di collaborazione”.
La versione del documento che abbiamo visto fa anche riferimento a diverse ricerche sulla riduzione delle dimensioni e dei costi di calcolo dei modelli di linguaggio di grandi dimensioni e sulla misurazione dei pregiudizi incorporati nei modelli. Si sostiene, tuttavia, che questi sforzi non sono stati sufficienti. “Sono molto aperto a vedere quali altri riferimenti dovremmo includere”, ha detto Bender.
Nicolas Le Roux, un ricercatore di intelligenza artificiale di Google di Montreal, ha successivamente notato su Twitter che il ragionamento nell’e-mail di Dean era insolito. “I miei contributi sono stati sempre controllati per la divulgazione dei contenuti, mai per la qualità della revisione della letteratura esistente nel settore”, ha spiegato. (Si veda tweet)
L’email di Dean dice anche che Gebru e i suoi colleghi hanno concesso a Google AI solo un giorno per una revisione interna del documento prima di inviarlo a una conferenza per la pubblicazione e ha aggiunto che “il nostro obiettivo è competere con le riviste sottoposte a revisione paritaria in termini di rigore e attenzione nel modo in cui esaminiamo la ricerca prima della pubblicazione”. (Si veda tweet)
Bender ha osservato che anche così, la conferenza avrebbe comunque sottoposto il documento a un processo di revisione sostanziale. Altri, tra cui William Fitzgerald, un ex manager di Google PR, hanno ulteriormente messo in dubbio l’affermazione di Dean. (Si veda tweet)
Google ha aperto la strada a gran parte della ricerca fondamentale che da allora ha portato alla recente esplosione di modelli di linguaggio di grandi dimensioni. Google AI è stata la prima, nel 2017, a inventare il modello di linguaggio Transformer che funge da base per il successivo modello BERT dell’azienda e GPT-2 e GPT-3 di OpenAI. BERT, come notato sopra, ora alimenta anche la ricerca su Google, la mucca da soldi dell’azienda.
Bender teme che le azioni di Google possano creare “conseguenze disastrose” sulla futura ricerca sull’etica dell’AI. Molti dei massimi esperti del settore lavorano presso grandi aziende tecnologiche perché è lì che si trovano i soldi. “Questo passaggio è stato utile per diversi aspetti”, egli spiega, “ma ci ritroviamo con un ecosistema che forse non ha scelto la strada migliore per favorire il progresso della scienza nel mondo”.
Immagine : Timnit Gebru.
(rp)
