Gli algoritmi di intelligenza artificiale dell’azienda hanno dato spazio ai contenuti di incitamento all’odio e ora l’uomo che li ha progettati non è in grado di risolvere il problema.
di Karen Hao
Joaquin Quiñonero Candela, direttore del comparto AI di Facebook, si è scusato con il pubblico presente. Era il 23 marzo 2018, pochi giorni dopo la rivelazione che Cambridge Analytica, una società di consulenza che aveva lavorato alla campagna elettorale presidenziale di Donald Trump del 2016, aveva sottratto di nascosto i dati personali di decine di milioni di americani dai loro account Facebook nel tentativo di influenzare il modo in cui hanno votato.
È stata la più grande violazione della privacy nella storia di Facebook. Quiñonero doveva parlare a una conferenza aziendale su “i rapporti tra intelligenza artificiale, etica e privacy” e ne aveva preso in considerazione l’annullamento, ma dopo averne discusso con il suo direttore delle comunicazioni, aveva mantenuto l’impegno. L’intervento è iniziato con un’ammissione: “Ho appena avuto i cinque giorni più difficili nella mia permanenza in Facebook. Sono pronto ad accettare qualsiasi critica”.
Lo scandalo di Cambridge Analytica ha dato il via alla più grande crisi pubblicitaria di Facebook di sempre. Ha aggravato i timori che gli algoritmi che determinano ciò che le persone vedono sulla piattaforma stessero amplificando le notizie false e l’incitamento all’odio, e che gli hacker russi li avessero “armati” per cercare di influenzare le elezioni a favore di Trump. Milioni di persone hanno abbandonato l’app, i dipendenti hanno lasciato in segno di protesta; la capitalizzazione di mercato dell’azienda è crollata di oltre 100 miliardi di dollari dopo la previsione degli utili di luglio.
Nei mesi successivi, Mark Zuckerberg si è scusato per non avere dimostrato “una visione abbastanza ampia” delle responsabilità di Facebook e per i suoi errori. All’interno del gruppo, Sheryl Sandberg, il direttore operativo, ha avviato un audit biennale sui diritti civili per suggerire i modi in cui l’azienda potrebbe impedire l’uso della sua piattaforma per minare la democrazia.
Infine, Mike Schroepfer, chief technology officer di Facebook, ha chiesto a Quiñonero di mettere in piedi un team con una direttiva in realtà un po’ vaga: esaminare l’impatto sociale degli algoritmi dell’azienda. Il gruppo si è chiamato Society and AI Lab (SAIL) e l’anno scorso si è unito a un altro team che lavorava sulla riservatezza dei dati per formare Responsible AI.
Quiñonero è stata una scelta naturale per questo lavoro. Nei suoi sei anni a Facebook, aveva creato alcuni dei primi algoritmi per indirizzare gli utenti verso contenuti su misura per i loro interessi, e poi aveva diffuso quegli algoritmi in tutta l’azienda. Ora il suo mandato sarebbe quello di renderli meno dannosi. Facebook si è sempre affidata a Quiñonero e a figure come lui per cercare di difendere la sua reputazione.
Nel maggio del 2019, l’azienda con una serie di interviste di Schroepfer, allora chief technology officer, al “New York Times”, si è presentata con il profilo di un dirigente sensibile e impegnato a superare le sfide tecniche per limitare la disinformazione e l’incitamento all’odio da un flusso di contenuti che ammontava a miliardi di pezzi al giorno. Queste sfide sono così ardue che, scriveva il NYT, “A volte portano Schroepfer alle lacrime”.
Nella primavera del 2020, a quanto pare è stato il mio turno. Ari Entin, direttore delle comunicazioni AI di Facebook, ha chiesto in un’e-mail se volevo dare uno sguardo più approfondito al lavoro dell’azienda. Dopo aver parlato con molti dei suoi leader di intelligenza artificiale, ho deciso di concentrarmi su Quiñonero. Entin era ben felice che avessi scelto l’uomo simbolo, quello che aveva trasformato Facebook in un’azienda che si affidava all’intelligenza artificiale.
Anche a me sembrava una scelta naturale. Negli anni trascorsi da quando aveva formato il suo gruppo di lavoro in seguito allo scandalo di Cambridge Analytica, le preoccupazioni per la diffusione di bugie e l’incitamento all’odio su Facebook erano solo aumentate. Alla fine del 2018 l’azienda ha ammesso che la disinformazione aveva contribuito ad alimentare una campagna genocida anti musulmana in Myanmar da diversi anni. Nel 2020 Facebook ha iniziato tardivamente ad agire contro i negazionisti dell’Olocausto, gli anti-vax e il movimento di cospirazione QAnon.
Tutte queste pericolose falsità stavano metastatizzando grazie alla spinta dell’intelligenza artificiale che Quiñonero aveva contribuito a costruire. Gli algoritmi che sono alla base dell’attività di Facebook non sono stati creati per filtrare ciò che era falso o provocatorio; ma per far sì che le persone condividessero e interagissero con quanti più contenuti possibile, di qualunque tipo fossero. Risolvere questo problema, a me, sembrava un territorio di confronto fondamentale per Responsible AI.
Ho iniziato a videochiamare regolarmente Quiñonero. Ho anche parlato con dirigenti di Facebook, dipendenti attuali ed ex, colleghi del settore ed esperti esterni. Molti hanno parlato in condizione di anonimato perché avevano firmato accordi di non divulgazione o temevano ritorsioni. Volevo sapere: cosa stava facendo la squadra di Quiñonero per tenere a freno l’odio e le bugie sulla sua piattaforma?
Ma Entin e Quiñonero avevano un’agenda diversa. Ogni volta che ho provato a sollevare questi argomenti, le mie richieste di parlarne sono state ignorate o reindirizzate. Volevano solo discutere il piano del team di intelligenza artificiale responsabile per affrontare un tipo specifico di problema: il bias dell’AI, in cui gli algoritmi discriminano particolari gruppi di utenti. Un esempio potrebbe essere un algoritmo di targeting degli annunci che mostra determinate opportunità di lavoro o alloggio ai bianchi, ma non alle minoranze.
Quando migliaia di rivoltosi hanno preso d’assalto il Campidoglio degli Stati Uniti a gennaio, organizzati in parte su Facebook e alimentati dalle bugie su un’elezione rubata che si erano diffuse a ventaglio sulla piattaforma, era chiaro dalle mie conversazioni che il team di intelligenza artificiale responsabile non era riuscito a fare progressi contro la disinformazione e l’incitamento all’odio perché non aveva mai fatto di questi problemi il suo obiettivo principale. Ancor di più, mi sono resa conto che se ci avesse provato, sarebbe stato un fallimento.
Il motivo è semplice. Tutto ciò che l’azienda fa e sceglie di non fare deriva da un’unica motivazione: l’inesorabile desiderio di crescita di Zuckerberg, che Quiñonero ha contribuito a rafforzare. Il suo team è stato indirizzato a prendere di mira i pregiudizi dell’AI, come ho capito dai miei rapporti, perché prevenire tali pregiudizi aiuta l’azienda a evitare la proposta di regolamentazione che potrebbe, se approvata, ostacolare questa crescita. Per la stessa ragione, la leadership di Facebook ha anche ripetutamente indebolito o interrotto molte iniziative volte a eliminare la disinformazione sulla piattaforma.
In altre parole, il lavoro del team di Responsible AI, qualunque siano i suoi meriti per affrontare i bias dell’AI, è essenzialmente irrilevante per risolvere i problemi più grandi di disinformazione, estremismo e polarizzazione politica. E siamo tutti noi che ne paghiamo il prezzo. “Quando si è impegnati a massimizzare il coinvolgimento degli utenti, non si sta cercando la verità. Non ci si preoccupa di danni, divisioni e cospirazioni, anzi li si favorisce”, afferma Hany Farid, professore dell’Università della California, a Berkeley, che collabora con Facebook per analizzare la disinformazione basata su immagini e video sulla piattaforma.
Nel marzo del 2012, Quiñonero è andato a visitare un amico nella Bay Area. A quel tempo, era un manager nell’ufficio britannico di Microsoft Research, a capo di un team che utilizzava l’apprendimento automatico per convincere più visitatori a fare clic sugli annunci visualizzati dal motore di ricerca dell’azienda, Bing. La sua esperienza era rara e la squadra aveva meno di un anno. L’apprendimento automatico, un sottoinsieme dell’AI, doveva ancora dimostrarsi una soluzione ai problemi del settore su larga scala. Pochi giganti della tecnologia avevano investito nella tecnologia.
L’amico di Quiñonero voleva metterlo in contatto con il suo nuovo datore di lavoro, una delle startup più in voga della Silicon Valley: Facebook, che era già operativa sul mercato da otto anni, con quasi un miliardo di utenti attivi mensilmente. Mentre Quiñonero girava per il quartier generale di Menlo Park, vide un ingegnere solitario apportare un importante aggiornamento al sito Web, cosa che avrebbe comportato notevoli passaggi burocratici a Microsoft. Era un tuffo nell’etica di Zuckerberg :”Mai fermare l’innovazione”. Quiñonero rimase sbalordito da quanto visto. In una settimana, entrò a far parte dell’azienda.
Il suo arrivo non avrebbe potuto essere programmato in modo migliore. Il servizio di annunci di Facebook era nel mezzo di una rapida espansione mentre l’azienda si stava preparando per la sua IPO di maggio. L’obiettivo era aumentare le entrate e conquistare Google, che faceva la parte del leone nel mercato della pubblicità online. L’apprendimento automatico, potenzialmente in grado di prevedere quali annunci sarebbero stati efficaci con gli utenti, avrebbe potuto essere lo strumento perfetto. Poco dopo l’inizio, Quiñonero venne promosso a gestire un team simile a quello che aveva guidato in Microsoft.
A differenza degli algoritmi tradizionali, che sono codificati rigidamente dagli ingegneri, gli algoritmi di apprendimento automatico “si addestrano” sui dati di input per stabilire correlazioni. L’algoritmo addestrato, noto come modello di apprendimento automatico, può quindi automatizzare le decisioni future. Nel caso, per esempio, dei clic sugli annunci, questo tipo di algoritmo potrebbe apprendere che le donne fanno clic sugli annunci per leggings da yoga più spesso degli uomini. Quindi il modello risultante invierà più annunci simili alle donne. Oggi, in un’azienda basata sull’intelligenza artificiale come Facebook, gli ingegneri generano innumerevoli modelli con lievi variazioni per vedere quale funziona meglio su un dato problema.
L’enorme quantità di dati degli utenti di Facebook ha dato a Quiñonero un grande vantaggio. Il suo team ha potuto sviluppare modelli che hanno imparato a dedurre l’esistenza non solo di categorie generali come “donne” e “uomini”, ma anche di categorie molto dettagliate come “donne tra i 25 e i 34 anni a cui piacciono le pagine Facebook relative allo yoga”. Più fine è il targeting, maggiori sono le possibilità di un clic, il che garantisce agli inserzionisti più risultati.
Nel giro di un anno il suo team aveva sviluppato questi modelli, così come gli strumenti per progettare e distribuire più rapidamente i nuovi. Prima, gli ingegneri di Quiñonero avevano impiegato dalle sei alle otto settimane per costruire, addestrare e testare un nuovo modello. Adesso ne bastava una sola.
La notizia del successo si diffuse rapidamente. Il team che lavorava per determinare quali post i singoli utenti di Facebook avrebbero visto sui propri feed di notizie personali voleva applicare le stesse tecniche. Proprio come nel caso degli annunci, gli algoritmi si potevano addestrare per prevedere quali post sarebbero stati condivisi e dargli di conseguenza maggiore risalto. Se il modello stabilisse che a una persona piacciono i cani, per esempio, i post degli amici sui cani appaiono più in alto nel feed di notizie di quell’utente.
Il successo di Quiñonero con il feed di notizie, insieme a una nuova impressionante ricerca sull’AI condotta al di fuori dell’azienda, attirarono l’attenzione di Zuckerberg e Schroepfer. Facebook aveva poco più di 1 miliardo di utenti, il che la rendeva almeno otto volte più grande di qualsiasi altro social network, ma i dirigenti volevano continuare nella crescita e decisero di investire con convinzione in AI, connettività Internet e realtà virtuale.
Crearono due squadre di intelligenza artificiale. Una era FAIR, un laboratorio di ricerca di base che avrebbe migliorato le capacità all’avanguardia della tecnologia. L’altra, Applied Machine Learning (AML), avrebbe integrato queste funzionalità nei prodotti e servizi di Facebook. Nel dicembre del 2013, dopo mesi di corteggiamento e persuasione, i dirigenti reclutarono Yann LeCun, uno dei più grandi nomi del settore, per guidare FAIR. Tre mesi dopo, Quiñonero venne nuovamente promosso, questa volta alla guida dell’AML.
Nel suo nuovo ruolo, Quiñonero diede vita a una nuova piattaforma di sviluppo di modelli accessibile a chiunque su Facebook. FBLearner Flow ha consentito agli ingegneri con poca esperienza di intelligenza artificiale di addestrare e distribuire modelli di apprendimento automatico in pochi giorni. A metà del 2016, era utilizzata da più di un quarto del team di ingegneri di Facebook ed era già stata utilizzata per addestrare oltre un milione di modelli, inclusi quelli per il riconoscimento delle immagini, il targeting degli annunci e la moderazione dei contenuti.
L’ossessione di Zuckerberg di convincere il mondo intero a usare Facebook aveva trovato una nuova potente arma. I team già in precedenza avevano utilizzato tattiche di progettazione, come sperimentare il contenuto e la frequenza delle notifiche, per cercare di agganciare gli utenti in modo più efficace. Il loro obiettivo, tra le altre cose, era migliorare una metrica chiamata L6/7, la frazione di persone che hanno effettuato l’accesso a Facebook sei dei sette giorni precedenti.
L6/7 è solo uno dei tanti modi in cui Facebook ha misurato il “coinvolgimento”: la propensione delle persone a utilizzare la sua piattaforma in qualsiasi modo, sia che si tratti di postare cose, commentarle, apprezzarle o condividerle, o semplicemente guardarle. Ora ogni interazione dell’utente una volta analizzata dagli ingegneri veniva analizzata da algoritmi che si muovevano molto più velocemente.
Zuckerberg, che sedeva al centro dell’edificio 20, l’ufficio principale presso la sede di Menlo Park, spostò accanto a lui i nuovi team FAIR e AML. Era “il santuario interno”, dice un ex leader del reparto che conteneva tutti i team di intelligenza artificiale, che ricorda il CEO che mescolava le persone a seconda se guadagnavano o perdevano il suo favore. “È così che si capisce cosa ha in mente”, afferma Quiñonero. “Sono sempre stato, per un paio d’anni, a pochi passi dalla scrivania di Mark”.
Con i nuovi modelli di machine learning online ogni giorno, l’azienda ha creato un nuovo sistema per monitorare il loro impatto e massimizzare il coinvolgimento degli utenti. Il processo è ancora lo stesso oggi. I team addestrano un nuovo modello di apprendimento automatico su FBLearner, sia per modificare l’ordine di classificazione dei post o per catturare meglio i contenuti che violano gli standard della comunità di Facebook (le sue regole su ciò che è e non è consentito sulla piattaforma). Quindi testano il nuovo modello su un piccolo sottoinsieme di utenti di Facebook per misurare come cambia le metriche di coinvolgimento, per esempio il numero di “Mi piace”, commenti e condivisioni, afferma Krishna Gade, che è stato responsabile tecnico per i feed di notizie dal 2016 al 2018.
Se un modello riduce troppo il coinvolgimento, viene scartato. In caso contrario, viene distribuito e continuamente monitorato. Su Twitter, Gade ha spiegato che i suoi ingegneri avrebbero ricevuto notifiche ogni pochi giorni quando metriche di gradimento come “Mi piace” o commenti erano in calo. Quindi avrebbero decifrato cosa aveva causato il problema e se i modelli avevano bisogno di essere riqualificati.
Ma questo approccio ha presto causato problemi. I modelli che massimizzano il coinvolgimento favoriscono anche polemiche, disinformazione ed estremismo: in parole povere, alle persone piacciono i contenuti oltraggiosi. A volte questo accende le tensioni politiche esistenti. L’esempio più devastante fino ad oggi è il caso del Myanmar, dove notizie false virali e discorsi di incitamento all’odio sulla minoranza musulmana Rohingya hanno intensificato il conflitto religioso del Paese e lo hanno trasformato in un vero e proprio genocidio.
Facebook ha ammesso nel 2018, dopo anni di minimizzazione del suo ruolo, di non aver fatto abbastanza “per impedire che la nostra piattaforma venisse utilizzata per fomentare la divisione e incitare alla violenza offline”. Anche se Facebook era ignara di queste conseguenze all’inizio, nel 2016 le stava studiando.
In una presentazione interna di quell’anno, analizzata dal “Wall Street Journal“, una ricercatrice aziendale, Monica Lee, ha scoperto che Facebook non ospitava solo un gran numero di gruppi estremisti, ma li promuoveva anche presso i propri utenti: “Il 64 per cento di tutte le adesioni ai gruppi estremisti è dovuto ai nostri strumenti di raccomandazione”, era scritto nella presentazione, in particolare grazie ai modelli dietro i “Gruppi a cui potresti iscriverti” e “Scopri”.
Nel 2017, Chris Cox, da lungo tempo chief product officer di Facebook, ha formato una nuova task force per capire se massimizzare il coinvolgimento degli utenti su Facebook stesse contribuendo alla polarizzazione politica. Ha scoperto che c’era davvero una correlazione e che ridurre la polarizzazione avrebbe significato diminuire il coinvolgimento degli utenti. In un documento di metà 2018 esaminato dal “Wall Street Journal”, la task force ha proposto diverse potenziali correzioni, come modificare gli algoritmi di raccomandazione per suggerire una gamma più diversificata di gruppi a cui le persone possono unirsi. Ma ha riconosciuto che alcune delle idee erano “anti-crescita”. La maggior parte delle proposte non è andata avanti e la task force si è sciolta.
Da allora, altri dipendenti hanno confermato questi risultati. Un ex ricercatore di intelligenza artificiale di Facebook che si è unito nel 2018 afferma che lui e il suo team dopo diversi studi hanno confermato la stessa idea di base: i modelli che massimizzano il coinvolgimento aumentano la polarizzazione. Questi modelli potevano facilmente tenere traccia del livello di accordo o disaccordo degli utenti su diverse questioni, con quali contenuti preferivano interagire e come le loro posizioni cambiassero di conseguenza.
Il team del ricercatore ha anche scoperto che gli utenti con la tendenza a pubblicare o impegnarsi con contenuti “cupi” – un possibile segno di depressione – potrebbero facilmente finire a consumare materiale sempre più negativo che rischia di peggiorare ulteriormente la loro salute mentale. Il team ha proposto di modificare i modelli di classificazione dei contenuti in modo che questi utenti smettano di massimizzare il coinvolgimento da soli, in modo da mostrare loro contenuti meno deprimenti. “La domanda per la leadership era: dovremmo ottimizzare il coinvolgimento se si scopre che qualcuno è in uno stato mentale vulnerabile?”, rammenta il ricercatore. (Un portavoce di Facebook ha detto di non essere riuscita a trovare la documentazione relativa a questa domanda).
Ma tutte le iniziative per ridurre il coinvolgimento ha portato a tentennamenti tra i dirigenti. Con le loro revisioni delle prestazioni e gli stipendi legati al completamento con successo dei progetti, i dipendenti hanno imparato rapidamente a portare avanti i progetti cari all’azienda. Uno di questi era inteso a prevedere se un utente poteva essere a rischio assistendo a un tipo di azione compiuta da altri: trasmettere in diretta il proprio suicidio su Facebook Live.
L’attività prevedeva la creazione di un modello per analizzare i commenti che altri utenti stavano postando su un video dopo che era andato in diretta, segnalando gli utenti a rischio all’attenzione di revisori qualificati di Facebook che potevano far intervenire personale di sostegno per eseguire un controllo. Non ha richiesto alcuna modifica ai modelli di classificazione dei contenuti, ha avuto un impatto trascurabile sul coinvolgimento degli utenti e ha superato le critiche, ma era di fatto impraticabile, dice il ricercatore: “È più una manovra pubblicitaria. Determinare se qualcuno si ucciderà nei prossimi 30 secondi, sulla base dei primi 10 secondi di analisi video, non porterà mai a risultati concreti”.
Facebook contesta questa visione, affermando che il team che ha lavorato a questa iniziativa ha da allora previsto con successo quali utenti erano a rischio e ha aumentato il numero di controlli dello stato di salute. Ma l’azienda non rilascia dati sull’accuratezza delle sue previsioni o su quanti di questi controlli fossero effettivamente delle vere emergenze.
Quiñonero avrebbe dovuto essere in una posizione perfetta per affrontare questi problemi quando ha creato il team SAIL (poi Responsible AI) nell’aprile 2018. Il tempo passato come direttore dell’Applied Machine Learning lo aveva reso intimamente familiare con gli algoritmi dell’azienda, in particolare quelli usati per consigliare post, annunci e altri contenuti per gli utenti.
Sembrava anche che Facebook fosse pronta a prendere sul serio questi problemi. A differenza di prima, a Quiñonero era concesso un team centralizzato con margine di manovra nel suo mandato per lavorare su qualsiasi cosa ritenesse opportuna per chiarire il rapporto tra intelligenza artificiale e società. Allora, Quiñonero era impegnato a diventare un tecnologo responsabile.
Il campo della ricerca sull’AI stava prestando una crescente attenzione ai problemi del pregiudizio e alla responsabilità dell’intelligenza artificiale sulla scia di studi di alto profilo che mostravano che, per esempio, un algoritmo stava valutando gli imputati neri con più probabilità di essere arrestati di nuovo rispetto agli imputati bianchi che erano stati arrestati per lo stesso reato o per un reato più grave. Quiñonero aveva approfondito la letteratura scientifica sull’equità algoritmica, leggendo libri sull’ingegneria etica e la storia della tecnologia e parlando con esperti di diritti civili e filosofi morali.
Nel corso delle molte ore che ho passato con lui, mi sono resa conto della sua serietà. La sua collaborazione con Facebook è iniziata durante la primavera araba, ossia il periodo delle rivoluzioni contro i regimi oppressivi del Medio Oriente. Gli esperti avevano lodato i social media per aver diffuso le informazioni che hanno alimentato le rivolte e dato alle persone gli strumenti per organizzarsi. Nato in Spagna ma cresciuto in Marocco, dove aveva assistito in prima persona alla soppressione della libertà di parola, Quiñonero ha sentito un’intensa connessione con il potenziale di Facebook come forza del bene.
Sei anni dopo, lo scandalo di Cambridge Analytica aveva minacciato di ribaltare questa idea. La controversia lo ha costretto a confrontarsi con la sua fede nell’azienda ed esaminare cosa avrebbe significato restare per la sua integrità. “Penso che quello che succede alla maggior parte delle persone che lavorano in Facebook – e sicuramente è stata la mia storia – è che non ci sono confini tra Facebook e me”, egli spiega. “Ho scelto di restare e di dirigere SAIL perché credevo di poter fare di più per il mondo aiutando a trasformare l’azienda che abbandonandola”.
“Penso che se si lavora in un’azienda come Facebook, soprattutto negli ultimi anni, ci si renda conto davvero dell’impatto che i prodotti hanno sulla vita delle persone, su ciò che pensano, su come comunicano, su come interagiscono tra loro”, dice Zoubin Ghahramani, amica di lunga data di Quiñonero, che aiuta a guidare il team di Google Brain. “So che Joaquin si preoccupa profondamente di tutti questi aspetti. Essendo qualcuno che si sforza di migliorare le cose, vede il ruolo importante che può avere nel plasmare sia il pensiero sia le politiche intorno all’AI responsabile”.
All’inizio, SAIL aveva solo cinque persone, che provenivano da diverse parti dell’azienda, ma erano tutte interessate all’impatto sulla società degli algoritmi. Un membro fondatore, Isabel Kloumann, una ricercatrice che proveniva dal team di data science dell’azienda, ha portato con sé una versione iniziale di uno strumento per misurare il bias nei modelli di intelligenza artificiale. Ci sono state discussioni sul ruolo che SAIL all’interno di Facebook e sulle prospettive.
Il sentimento prevalente era che il team avrebbe prima prodotto linee guida sull’AI responsabile per dire ai team di prodotto cosa avrebbero dovuto o non avrebbero dovuto fare. Ma la speranza era che alla fine sarebbe servito come hub centrale dell’azienda per la valutazione dei progetti di intelligenza artificiale e il blocco di quelli che non seguivano le linee guida.
Gli ex dipendenti hanno descritto, tuttavia, quanto è difficile ottenere un supporto finanziario quando il lavoro non migliora direttamente la crescita di Facebook. Per sua natura, il team non pensava alla crescita, e in alcuni casi proponeva idee antitetiche alla crescita. Di conseguenza, ha ricevuto poche risorse e ha languito. Molte delle sue idee sono rimaste in gran parte allo stadio accademico.
Il 29 agosto 2018, tutto è cambiato all’improvviso. Nella corsa alle elezioni di medio termine negli Stati Uniti, il presidente Donald Trump e altri leader repubblicani hanno sollevato una serie di accuse secondo cui Facebook, Twitter e Google avevano pregiudizi anti-conservatori. A loro parere, i moderatori di Facebook in particolare, nell’applicare gli standard della comunità, stavano sopprimendo le voci conservatrici più di quelle liberali. Questa accusa sarebbe stata successivamente smentita, ma l’hashtag #StopTheBias, alimentato da un tweet di Trump, si è diffuso rapidamente sui social media.
Per l’ex presidente americano, è stato l’ultimo tentativo di seminare sfiducia nei principali canali di distribuzione delle informazioni del paese. Per Zuckerberg, ha minacciato di alienare gli utenti statunitensi conservatori di Facebook e rendere l’azienda più vulnerabile alla regolamentazione di un governo a guida repubblicana. In altre parole, ha minacciato la crescita dell’azienda.
Facebook non mi ha concesso un’intervista con Zuckerberg, ma precedenti reportagehanno mostrato come egli assecondasse sempre di più Trump e la leadership repubblicana. Dopo che Trump è stato eletto, Joel Kaplan, vicepresidente di Facebook per le politiche pubbliche globali e il suo repubblicano di più alto rango, ha consigliato a Zuckerberg di procedere con cautela nel nuovo ambiente politico.
Il 20 settembre 2018, tre settimane dopo il tweet #StopTheBias di Trump, Zuckerberg ha tenuto un incontro con Quiñonero per la prima volta dalla creazione di SAIL. Voleva sapere tutto ciò che Quiñonero aveva imparato sul pregiudizio dell’AI e su come annullarlo nei modelli di moderazione dei contenuti di Facebook. Alla fine dell’incontro, una cosa era chiara: il pregiudizio dell’AI era ora la massima priorità di Quiñonero. “La leadership è stata molto, molto invadente nel chiederci di ridimensionarlo con ogni mezzo”, afferma Rachad Alao, il direttore tecnico di Responsible AI che si è unito ad aprile 2019.
È stata una vittoria per tutti i presenti. Zuckerberg ha trovato un modo per respingere le accuse di pregiudizi anti-conservatori. E Quiñonero ora aveva più soldi e un team più grande per migliorare l’esperienza complessiva di Facebook per gli utenti. Avrebbero potuto basarsi sullo strumento esistente di Kloumann per misurare e correggere il presunto pregiudizio anti-conservatore nei modelli di moderazione dei contenuti, nonché per correggere altri tipi di pregiudizi nella stragrande maggioranza dei modelli sulla piattaforma.
A quel punto, Facebook aveva già migliaia di modelli in esecuzione contemporaneamente e quasi nessuno era stato tarato sui pregiudizi. Questa carenza avrebbe messo l’azienda nei guai legali pochi mesi dopo con il Dipartimento per l’edilizia abitativa e lo sviluppo urbano (HUD) degli Stati Uniti, secondo cui gli algoritmi dell’azienda stavano deducendo attributi “protetti” come la razza dai dati degli utenti e mostrando loro annunci di alloggi basati su quegli attributi: una forma illegale di discriminazione (La causa è ancora in corso).
Schroepfer aveva anche previsto che il Congresso avrebbe presto approvato leggi per regolamentare la discriminazione algoritmica, quindi Facebook doveva comunque prendere delle misure (Facebook contesta l’idea di aver proseguito il suo lavoro sul pregiudizio dell’AI per proteggere la crescita o in previsione della regolamentazione. “Abbiamo creato il team di Responsible AI perché era la cosa giusta da fare”, ha detto un portavoce).
Ma restringere l’attenzione di SAIL all’equità algoritmica metterebbe in secondo piano tutti gli altri problemi algoritmici di lunga data di Facebook. I suoi modelli di raccomandazione sui contenuti hanno continuato a favorire post, notizie e gruppi agli utenti nel tentativo di massimizzare il coinvolgimento, premiando i contenuti estremisti e contribuendo a un discorso politico sempre più frammentato.
Zuckerberg lo ha persino ammesso. Due mesi dopo l’incontro con Quiñonero, in una nota pubblica che delineava i piani di Facebook per la moderazione dei contenuti, ha illustrato gli effetti dannosi della strategia di coinvolgimento dell’azienda con un grafico semplificato. Ha dimostrato che maggiore è la probabilità che un post violi gli standard della comunità di Facebook, maggiore è il coinvolgimento dell’utente, perché gli algoritmi che massimizzano il coinvolgimento premiano i contenuti che alimentano la divisione.
Ma poi ha mostrato un altro grafico con la relazione inversa. Piuttosto che premiare i contenuti che si avvicinano alla violazione degli standard della comunità, ha scritto Zuckerberg, Facebook potrebbe scegliere di iniziare a “penalizzarli”, dandogli “meno distribuzione e coinvolgimento”. Come sarebbe stato fatto? Con più intelligenza artificiale. Facebook svilupperebbe migliori modelli di moderazione dei contenuti per rilevare questo “contenuto limite”, ha sostenuto, in modo che possa essere collocato più in basso nel feed delle notizie per ridurne la viralità.
Il problema è che, nonostante tutte le promesse di Zuckerberg, questa strategia è alquanto debole.La disinformazione e l’incitamento all’odio sono in continua evoluzione. Per fermare i contenuti prima che diventino virali, i sistemi di moderazione devono identificarli con elevata precisione. Ma i modelli di apprendimento automatico non funzionano in questo modo. Un algoritmo che ha imparato a riconoscere la negazione dell’Olocausto non può individuare immediatamente, per esempio, la negazione del genocidio dei Rohingya.
Deve essere addestrato su migliaia, spesso anche milioni, di esempi di un nuovo tipo di contenuto prima di imparare a filtrarlo. Anche allora, gli utenti possono imparare rapidamente a superare in astuzia il modello, per esempio cambiando la formulazione di un post o sostituendo le espressioni violente con eufemismi, rendendo in tal modo il loro messaggio illeggibile per l’AI mentre è ancora ovvio per un essere umano. Questo è il motivo per cui le nuove teorie del complotto possono rapidamente sfuggire al controllo, e in parte perché, sopravvivono sulla piattaforma.
Nel suo profilo del “New York Times”, Schroepfer ha parlato di questi limiti della strategia di moderazione dei contenuti dell’azienda. “Ogni volta che il signor Schroepfer e i suoi oltre 150 specialisti di ingegneria creano soluzioni di intelligenza artificiale che segnalano e reprimono contenuti nocivi, vengono visualizzati nuovi e dubbi post che i sistemi di intelligenza artificiale non hanno mai visto prima e sui quali quindi non si interviene”, ha scritto il “New York Times”. “Non ne verremo maia capo”, ha concluso Schroepfer.
Nel frattempo, gli algoritmi che raccomandano questo contenuto funzionano ancora per massimizzare il coinvolgimento. Ciò significa che ogni post tossico che sfugge ai filtri di moderazione dei contenuti continuerà a essere spinto più in alto nel feed delle notizie e promosso per raggiungere un pubblico più ampio. In effetti, uno studio della New York University ha recentemente scoperto che tra le pagine Facebook degli editori partigiani, quelle che hanno regolarmente pubblicato informazioni politiche errate hanno ottenuto il maggior coinvolgimento degli utenti in vista delle elezioni presidenziali statunitensi del 2020 e delle rivolte del Campidoglio.
Ma il team SAIL di Quiñonero non stava lavorando a questo problema. A causa delle preoccupazioni di Kaplan e Zuckerberg sulle contestazioni dei conservatori, il team è rimasto concentrato sui pregiudizi. E anche dopo che si è fuso in Responsible AI, non è mai stato incaricato di lavorare su sistemi di raccomandazione dei contenuti che potrebbero limitare la diffusione di disinformazione. Né ci sono altri team che se ne occupano, come ho avuto conferma dopo che Entin e un altro portavoce mi hanno fornito un elenco completo di tutte le altre iniziative di Facebook su questioni relative all’integrità, il termine generico dell’azienda per problemi tra cui disinformazione, incitamento all’odio e polarizzazione.
Un portavoce di Facebook ha detto: “Il lavoro non è svolto da un team specifico perché non è così che opera l’azienda”. Viene invece distribuito tra i team che hanno le competenze specifiche per affrontare il modo in cui il ranking dei contenuti influisce sulla disinformazione per la loro parte della piattaforma, ha affermato. Ma Schroepfer mi aveva detto esattamente il contrario in una precedente intervista. Gli avevo chiesto perché avesse creato un team centralizzato di intelligenza artificiale responsabile invece di lasciare il problema in mano ai singoli team esistenti. Ha detto che era “la risposta più vantaggiosa” per l’azienda.
Quando ho descritto il lavoro del team di Responsible AI ad altri esperti di etica dell’AI e diritti umani, hanno notato l’incongruenza tra i problemi che stava affrontando e quelli, come la disinformazione, per cui Facebook è più noto. “La tematica sembra essere rimossa da Facebook”, ha affermato Rumman Chowdhury, la cui startup, Parity, che offre consulenze alle aziende sull’uso responsabile dell’AI, è stata acquisita da Twitter dopo la nostra intervista. Avevo mostrato a Chowdhury la documentazione del team Quiñonero che dettagliava il suo lavoro. “Trovo sorprendente che parleremo di inclusività, correttezza, equità e non dei problemi reali che si verificano adesso”, ha commentato.
“Sembra che l’inquadramento dell‘intelligenza artificiale responsabile sia completamente slegato da quello a cui l’azienda è realmente interessata. “Non capisco nemmeno cosa intendono quando parlano di correttezza. Pensano che sia giusto raccomandare alle persone di unirsi a gruppi estremisti, come quelli che hanno preso d’assalto il Campidoglio? Se si tratta di una raccomandazione, significa che si può giustificare?”, si chiede Ellery Roberts Biddle, direttore editoriale di Ranking Digital Rights, un’organizzazione no profit che studia l’impatto delle aziende tecnologiche sui diritti umani. “Siamo in presenza di un genocidio [Myanmar] documentato dalle Nazioni Unite, e Facebook dovrebbe tenerne conto nel modo in cui la piattaforma promuove i contenuti”, aggiunge Biddle. “Fino a che punto si può arrivare?”.
Negli ultimi due anni, il team di Quiñonero ha costruito lo strumento originale di Kloumann, chiamato Fairness Flow, che consente agli ingegneri di misurare l’accuratezza dei modelli di apprendimento automatico per diversi gruppi di utenti. Si possono confrontare l’accuratezza di un modello di rilevamento del volto tra diverse età, sesso e tonalità della pelle o l’accuratezza di un algoritmo di riconoscimento vocale tra diverse lingue, dialetti e accenti.
Fairness Flow include anche una serie di linee guida per aiutare gli ingegneri a capire cosa significa addestrare un modello “equo”. Uno dei problemi più spinosi nel rendere gli algoritmi equi è che ci sono diverse definizioni di equità, che possono essere reciprocamente incompatibili. Fairness Flow elenca quattro definizioni che gli ingegneri possono utilizzare in base a quelle che meglio si adattano al loro scopo, per esempio se un modello di riconoscimento vocale riconosce tutti gli accenti con uguale accuratezza o con una soglia minima di accuratezza.
Ma testare gli algoritmi per l’equità è ancora ampiamente facoltativo su Facebook. Nessuno dei team che lavorano direttamente sul feed di notizie di Facebook, sul servizio pubblicitario o su altri prodotti è tenuto a farlo. Gli incentivi retributivi sono ancora legati al coinvolgimento dell’utenza e alle metriche di crescita. E sebbene esistano linee guida su quale definizione di equità utilizzare in una determinata situazione, non vengono applicate.
Quest’ultimo problema è emerso quando l’azienda ha dovuto affrontare le accuse di pregiudizi nei confronti dei-conservatori. Nel 2014, Kaplan è stato promosso da responsabile politico degli Stati Uniti a vicepresidente globale per la politica e ha iniziato a svolgere un ruolo maggiore nella moderazione dei contenuti e nelle decisioni su come classificare i post nei feed di notizie degli utenti.
Dopo che i repubblicani hanno iniziato a parlare di pregiudizi anti-conservatori nel 2016, il suo team ha iniziato a rivedere manualmente l’impatto dei modelli di rilevamento della disinformazione sugli utenti per assicurarsi, tra le altre cose, che non penalizzassero in modo sproporzionato i conservatori. Tutti gli utenti di Facebook hanno circa 200 “tratti” allegati al loro profilo. Questi includono varie dimensioni inviate dagli utenti o stimate da modelli di apprendimento automatico, come razza, tendenze politiche e religiose, classe socioeconomica e livello di istruzione.
Il team di Kaplan ha iniziato a utilizzare i tratti per assemblare segmenti di utenti personalizzati che riflettessero interessi in gran parte conservatori: utenti che si sono impegnati con contenuti, gruppi e pagine conservatori, per esempio. Quindi, secondo un ex ricercatore il cui lavoro era soggetto a quelle revisioni, sono state condotte analisi speciali per vedere come le decisioni sulla moderazione dei contenuti avrebbero influenzato i post di quei segmenti.
La documentazione di Fairness Flow, che il team di Responsible AI ha scritto in seguito, include un case study su come utilizzare lo strumento in una situazione del genere. Nel decidere se un modello di disinformazione è giusto rispetto all’ideologia politica, il team ha scritto, “correttezza” non significa che il modello dovrebbe influenzare allo stesso modo gli utenti conservatori e liberali. Se i conservatori pubblicano una frazione maggiore di disinformazione, come giudicato dal consenso pubblico, il modello dovrebbe segnalare una frazione maggiore di contenuto conservatore e viceversa.
Ma i membri del team di Kaplan hanno seguito esattamente l’approccio opposto: hanno interpretato “correttezza” nel senso che questi modelli non dovrebbero influenzare i conservatori più dei liberali. Quando si presentava il caso, un modello ne interrompeva la distribuzione e chiedeva una modifica. Una volta, è stato bloccato un sistema di rilevazione della disinformazione medica che aveva notevolmente ridotto la portata delle campagne anti-vaccino, mi ha detto l’ex ricercatore.
Hanno detto ai ricercatori che il modello non poteva essere distribuito fino a quando il team non avesse risolto questa discrepanza. Ma quando è stato fatto, la modifica ha effettivamente reso il modello privo di significato. “Non aveva senso”, dice il ricercatore, “perché il cambiamento del modello non gli avrebbe permesso di avere alcun impatto sul problema reale della disinformazione”.
Ciò è accaduto innumerevoli altre volte, e non solo per la moderazione dei contenuti. Nel 2020, il “Washington Post” ha riferito che il team di Kaplan aveva minato gli sforzi per mitigare le interferenze elettorali e la polarizzazione all’interno di Facebook, affermando che potevano contribuire a pregiudizi anti-conservatori. Nel 2018, secondo il “Wall Street Journal”, ha utilizzato lo stesso argomento per accantonare un progetto per modificare i modelli di raccomandazione di Facebook, anche se i ricercatori ritenevano che avrebbe ridotto le divisioni sulla piattaforma.
Le sue affermazioni sui pregiudizi politici hanno anche indebolito una proposta per modificare i modelli di classificazione per il feed di notizie che i data scientist di Facebook ritenevano avrebbero rafforzato la piattaforma contro le tattiche di manipolazione che la Russia aveva usato durante le elezioni americane del 2016. Secondo il “New York Times”, prima delle elezioni del 2020, i dirigenti politici di Facebook hanno usato questa scusa per porre il veto o indebolire diverse proposte che avrebbero ridotto la diffusione di contenuti odiosi e dannosi.
Facebook ha contestato la segnalazione del “Wall Street Journal” in un post sul blog e anche la caratterizzazione del “New York Times” in un’intervista al giornale. Un portavoce del team di Kaplan ha anche negato che si trattasse di un modello di comportamento, dicendo che i casi riportati dal “Post”, dal “Journal” e dal “Times” erano “tutti casi individuali che riteniamo siano stati distorti”.
L’ultima volta che ho parlato con Quiñonero è stato un mese dopo i disordini del Campidoglio degli Stati Uniti. Volevo sapere come l’assalto al Congresso aveva influenzato il suo pensiero e la direzione del suo lavoro. Nella videochiamata, era come sempre: Quiñonero chiamava dal suo ufficio di casa in una finestra ed Entin, il suo gestore di pubbliche relazioni, in un’altra. Ho chiesto a Quiñonero quale ruolo riteneva avesse giocato Facebook nelle rivolte e se avesse cambiato il compito che vedeva per Responsible AI.
Dopo una lunga pausa, ha eluso la domanda, lanciandosi in una descrizione del recente lavoro che aveva svolto per promuovere una maggiore diversità e inclusione tra i team di intelligenza artificiale. Gli ho fatto di nuovo la domanda. La sua fotocamera del portale Facebook, che utilizza algoritmi di visione artificiale per monitorare l’oratore, ha iniziato a zoomare lentamente sul suo viso mentre si immobilizzava. “Non ho una risposta facile a questa domanda, Karen”, ha detto. Entin, che stava camminando rapidamente su e giù con una stoica faccia da poker, ha afferrato una palla antistress rossa.
Ho chiesto a Quiñonero perché il suo team non avesse precedentemente esaminato i modi per modificare i modelli di classificazione dei contenuti di Facebook per reprimere la disinformazione e l’estremismo. Mi ha detto che era il lavoro di altre squadre (anche se nessuno è stato incaricato di lavorare su quel compito). “Non è fattibile per il solo team di Responsible AI studiare tutte queste cose”, ha affermato. Quando gli ho chiesto se avrebbe preso in considerazione la possibilità che il suo team affrontasse questi problemi in futuro, ha ammesso vagamente: “Spero che si vada in questa direzione”.
Verso la fine della nostra intervista di un’ora, ha iniziato a sottolineare che l’AI è stata spesso dipinta ingiustamente come “il colpevole”. Indipendentemente dal fatto che Facebook utilizzi o meno l’intelligenza artificiale, ha detto, le persone continuerebbero a sputare bugie e incitamento all’odio, e questi contenuti si diffonderebbe comunque su tutta la piattaforma. L’ho pressato ancora una volta, facendogli presente che non poteva credere che gli algoritmi non avessero fatto assolutamente nulla per cambiare la natura di questi problemi. “Non lo so”, ha risposto in modo incerto. Poi ha ripetuto, con più convinzione: “Non lo so veramente”.
(rp)
