Le mosse di questa settimana di alcune grandi aziende segnano una svolta importante per ricercatori e sostenitori dei diritti civili impegnati in una lunga e costante lotta contro le tecnologie di riconoscimento del volto adottate dalle forze dell’ordine.
di Karen Hao
Nell’estate del 2018, quasi 70 organizzazioni per i diritti civili e la ricerca hanno scritto una lettera a Jeff Bezos chiedendo che Amazon smettesse di fornire tecnologia di riconoscimento facciale ai governi. Come parte di una maggiore attenzione al ruolo che le aziende tecnologiche stavano giocando nel consentire il monitoraggio e la “deportazione” degli immigrati da parte del governo degli Stati Uniti, si rivolgeva un appello ad Amazon a “difendere i diritti civili e le libertà civili. Rekognition è un potente sistema di sorveglianza facilmente disponibile che viola i diritti individuali e colpisce soprattutto le comunità di colore”.
Insieme alla lettera, la Fondazione ACLU di Washington ha consegnato una petizione con oltre 150.000 firme e un’altra lettera degli azionisti dell’azienda che esprimono richieste simili. Alcuni giorni dopo, in una nota interna, i dipendenti di Amazon hanno fatto eco a queste preoccupazioni. Nonostante la crescente pressione, l’azienda ha continuato a fare i suoi affari come al solito.
Ha puntato su Rekognition come strumento per monitorare i “potenziali sospetti” e ha raddoppiato l’impegno per fornire altre tecnologie di sorveglianza ai governi. La filiale della società Ring, per esempio, acquisita solo pochi mesi prima, ha stretto rapidamente collaborazioni con oltre 1.300 agenzie delle forze dell’ordine per utilizzare le riprese delle telecamere di sicurezza domestiche nelle indagini penali.
Ma mercoledì 10 giugno, Amazon ha scioccato ricercatori e attivisti per i diritti civili quando ha annunciato che avrebbe posto una moratoria di un anno sull’uso di Rekognition da parte della polizia. La mossa ha seguito la decisione di IBM di abbandonare il suo sistema di riconoscimento facciale multiuso. Il giorno successivo, Microsoft ha annunciato che avrebbe smesso di vendere il suo sistema ai dipartimenti di polizia fino a quando la legge federale non avesse regolato la tecnologia.
Amazon, il più grande fornitore di tecnologia alle forze dell’ordine, ha fatto la concessione minore tra le tre aziende. La decisione arriva al culmine di due anni di ricerca e pressioni esterne per dimostrare i difetti tecnici di Rekognition e i potenziale abusi. “È incredibile che Amazon abbia lanciato un segnale positivo nell’attuale dibattito sul razzismo”, ha affermato Deborah Raji, una ricercatrice sulla trasparenza dell’IA che ha collaborato alla stesura di uno studio sui pregiudizi razziali integrati nella tecnologia dell’azienda.
“Un anno è un buon inizio”, afferma Kade Crockford, direttore del programma di tecnologia libera presso l’ACLU del Massachusetts. “È assolutamente un’ammissione da parte dell’azienda, almeno implicitamente, che chi lotta contro le discriminazioni razziali sostiene da due anni: la tecnologia di riconoscimento facciale mette in pericolo le persone di colore negli Stati Uniti. È un’ammissione notevole”.
Due anni di battaglie
Nel febbraio del 2018, la ricercatrice del MIT Joy Buolamwini e Timnit Gebru, allora ricercatrice di Microsoft, hanno pubblicato uno studio innovativo dal titolo Gender Shades sui pregiudizi di genere e di razza incorporati nei sistemi commerciali di riconoscimento facciale. All’epoca, lo studio includeva i sistemi venduti da Microsoft, IBM e Megvii, uno dei maggiori fornitori cinesi di riconoscimento facciale. Non comprendeva il software Rekognition di Amazon. (Si veda link)
Tuttavia, è stato il primo studio nel suo genere, con risultati scioccanti: il sistema meno valido, quello di IBM, aveva prestazioni peggiori del 34,4 per cento nel classificare il genere per le donne di pelle scura rispetto agli uomini di pelle chiara. I risultati hanno immediatamente reso meno credibili le affermazioni di accuratezza di cui parlavano le aziende che vendevano questi sistemi di riconoscimento facciale.
Mentre il dibattito infuriava, divenne presto evidente che il problema era anche più profondo dei dati di allenamento distorti o degli algoritmi imperfetti. Come hanno denunciato attivisti e ricercatori, anche se i sistemi raggiungessero una precisione del 100 per cento, potrebbero comunque essere impiegati in modo ambiguo.
“Ci sono due modi in cui questa tecnologia può danneggiare le persone”, afferma Raji che ha lavorato con Buolamwini e Gebru al Gender Shades. “Il primo è quando non funziona in virtù di tassi di errore più elevati per le persone di colore, esponendole a un rischio maggiore. Il secondo è quando viene utilizzato di proposito contro le comunità, per discriminarle”. “Il lavoro di Gender Shades è stato quello di denunciare la prima situazione”, ella spiega . In tal modo, ha creato le premesse per affrontare il secondo scenario.
Questo è quello che è successo con IBM. Dopo la pubblicazione di Gender Shades, IBM è stata una delle prime aziende a contattare i ricercatori per capire come risolvere i problemi legati al pregiudizio. Nel gennaio del 2019, ha pubblicato un set di dati chiamato Diversity in Faces, contenente oltre 1 milione di immagini di volti con annotazioni, nel tentativo di migliorare tali sistemi. Ma la mossa è fallita dopo che le persone hanno scoperto che le immagini sono state “rubate” da Flickr, sollevando problemi di consenso e privacy.
Si è innescata un’altra serie di discussioni interne su come addestrare eticamente il riconoscimento facciale. Quindi alla fine, non è stata una sorpresa quando l’azienda ha finalmente staccato la spina (I critici evidenziano che il suo sistema non aveva comunque una presenza significativa sul mercato). IBM “ha realizzato che i” benefici “non erano in alcun modo proporzionali al danno”, afferma Raji, “e ora ha deciso di renderlo pubblico”.
Ma mentre IBM rispondeva al feedback esterno, Amazon ha avuto la reazione opposta. Nel giugno del 2018, nel mezzo di tutte le richieste rivolte all’azienda di non vendere Rekognition alla polizia, Raji e Buolamwini hanno ampliato i controlli di Gender Shades per verificarne le prestazioni. I risultati, pubblicati sei mesi dopo in unarticolo rivisto dai pari, hanno nuovamente riscontrato enormi inesattezze tecniche. Rekognition stava classificando il genere delle donne di pelle scura il 31,4 per cento in modo meno accurato di quello degli uomini dalla pelle chiara. (Si veda link)
A luglio, l’ACLU della California del Nord ha a sua volta condotto uno studio, scoprendo che il sistema abbinava erroneamente le foto di 28 membri del Congresso degli Stati Uniti con foto segnaletiche. Le false corrispondenze colpivano sproporzionatamente le persone di colore. Invece di riconoscere i risultati, tuttavia, Amazon ha pubblicato due post sul blog, sostenendo che il lavoro di Raji e Buolamwini era fuorviante. In risposta, quasi 80 ricercatore di IA, tra cui il vincitore del Turing Award Yoshua Bengio, hanno difeso il lavoro e hanno nuovamente chiesto all’azienda di interrompere la vendita del software di riconoscimento facciale alla polizia.
“Amazon ha cercato di screditare la ricerca, avvalorando l’ipotesi che fosse stata pilotata dalla pressione di donne di colore”, afferma Meredith Whittaker, cofondatrice e direttrice dell’AI Now Institute, che studia gli impatti sociali dell’IA. “Ha cercato di elaborare una narrazione secondo cui avevano sbagliato e che chiunque conoscesse la tecnologia sapeva che questo non era un problema”.
In effetti, mentre ufficialmente respingeva le conclusioni dello studio, Amazon stava iniziando a investire nella ricerca di soluzioni dietro le quinte. Ha dapprima finanziato una borsa di studio della NSF per mitigare i problemi e pochi mesi dopo ha rilasciato una nuova versione di Rekognition, rispondendo direttamente alle preoccupazioni dello studio, afferma Raji.
Allo stesso tempo, ha frenato le pressioni degli azionisti per sospendere le vendite della tecnologia e condurre una valutazione indipendente dei diritti umani. Ha anche speso milioni di dollari per esercitare pressioni sul Congresso per evitare qualsiasi regolamentazione.
Ma poi tutto è cambiato. Il 25 maggio 2020, l’agente Derek Chauvin ha assassinato George Floyd, innescando un movimento storico negli Stati Uniti per combattere il razzismo istituzionale e porre fine alla brutalità della polizia. In risposta, i Democratici della Camera e del Senato hanno introdotto un disegno di legge di riforma della poliziache include una proposta per limitare il riconoscimento facciale in un contesto di applicazione della legge, segnando il più grande sforzo federale di sempre per regolare la tecnologia.
Quando IBM ha annunciato che avrebbe abbandonato il suo sistema di riconoscimento facciale, ha anche inviato una lettera al Congressional Black Caucus, sollecitando “un dialogo nazionale su se e come la tecnologia di riconoscimento facciale dovrebbe essere impiegata dalle forze dell’ordine nazionali”.
“Penso che la decisione di IBM di inviare quella lettera, nel momento in cui lo stesso organo legislativo sta prendendo in considerazione un disegno di legge sulla riforma della polizia, abbia davvero cambiato il panorama”, afferma Mutale Nkonde, consulente di politiche di IA del Berkman Klein Center di Harvard. “Anche se l’azienda non era tra i principali protagonisti del settore del riconoscimento facciale, la mossa ha fatto avvertire ad Amazon il cambiamento a livello politico”.
Un cauto ottimismo
Ma mentre attivisti e ricercatori vedono la concessione di Amazon come una grande vittoria, riconoscono anche che la guerra non è finita. Per prima cosa, l’annuncio di 102 parole di Amazon è stato vago sui dettagli relativamente al fatto che la sua moratoria includesse l’US Immigration and Customs Enforcement or the Department of Homeland Security (Amazon non ha risposto a una richiesta di commento.) Per un altro, la scadenza di un anno è un campanello d’allarme.
“Qualcosa mi dice che Amazon aspetterà fino a quando le proteste cesseranno – fino a quando l’attenzione dell’opinione pubblica si sposterà ad altro – per tornare alla sua posizione precedente”, afferma Crockford dell’ACLU. “Controlleremo senza tregua se queste aziende non stiano solo prendendo una posizione di comodo, lavorando contemporaneamente dietro le quinte per impedire cambiamenti legislativi”.
Questo è il motivo per cui anche attivisti e ricercatori ritengono che la regolamentazione svolgerà un ruolo fondamentale per il futuro. “La lezione” afferma Whittaker, “non è che le aziende dovrebbero autogovernarsi, ma che abbiamo bisogno di più pressione sociale e di interventi a lungo termine”.
I critici affermano che le disposizioni sul riconoscimento facciale nell’attuale legge sulla riforma della polizia, che vieta solo il suo uso in tempo reale nelle telecamere indossabili, non sono abbastanza ampie da tenere fuori i giganti della tecnologia. Ma Nkonde è ottimista: vede questa prima serie di raccomandazioni come un seme per l’ulteriore regolamentazione. Una volta diventate legge, queste regole saranno un importante punto di riferimento per vietare il riconoscimento facciale in altre applicazioni e contesti.
Il movimento è ampio a livello federale e locale. I riflettori accesi dalla morte di Floyd sulle condotte della polizia hanno accelerato il sostegno popolare al cambiamento. “Non ci sarebbero dovute essere le morti di George Floyd, Breonna Taylor e troppi altri neri – e centinaia di migliaia di persone che scendevano per le strade in tutto il paese – perché queste aziende comprendessero che le richieste delle organizzazioni degli Afroamericani, dell’ACLU e di molti altri gruppi erano giuste”, afferma Crockford. “Ma meglio tardi che mai”.
Foto: Ms Tech / Getty
