Un nuovo rapporto dell’AI Now Institute cerca di capire se i diversi approcci normativi funzionano e se riescono a proteggere le comunità dalle “invasioni” delle tecniche di sorveglianza.
di Karen Hao
Amba Kak frequentava la facoltà di giurisprudenza in India quando il paese ha lanciato il progetto Aadhaar nel 2009. Il sistema di identificazione biometrica nazionale mirava a raccogliere le impronte digitali, le scansioni dell’iride e le fotografie di tutti i residenti. Non passò molto tempo, ricorda Kak, prima che se ne vedessero le devastanti conseguenze. “Le impronte digitali dei lavoratori manuali iniziarono a non essere riconosciute dal sistema e di conseguenza veniva loro negato l’accesso ai beni di prima necessità”, ella dice. “In realtà abbiamo avuto morti per fame in India legati alle barriere che questi sistemi di identificazione biometrica hanno creato. Un problema molto serio”.
Questi casi l’hanno indotta a condurre delle ricerche sui sistemi biometrici e a stabilire eventuali responsabilità di ordine legale. Il 2 settembre, Kak, che ora è il direttore della strategia e dei programmi globali dell’AI Now Institute di New York, ha pubblicato un rapporto che descrive otto casi di studio su come i sistemi biometrici sono regolati in tutto il mondo. La ricerca valuta i comportamenti di città, stati, nazioni e organizzazioni senza scopo di lucro. L’obiettivo è sviluppare una comprensione più profonda del valore delle diverse strategie adottate. In questa intervista, Kak esprime la sua posizione in proposito.
Perché portare avanti un progetto simile?
La tecnologia biometrica sta proliferando e diventando d’uso comune, in ambito pubblico e privato. Solo quest’anno, il monitoraggio delle proteste effettuato utilizzando il riconoscimento facciale si è verificato a Hong Kong, Delhi, Detroit e Baltimora. Sistemi di identificazione biometrica, di cui si parla meno, vengono utilizzati come condizione per accedere ai servizi di assistenza sociale, proliferando anche nei paesi a basso e medio reddito in Asia, Africa e America Latina.
Ma l’aspetto interessante è che anche il rifiuto di questi sistemi è al suo apice. Allora la domanda è: quale funzione devono esercitare la legge e la politica? Questa è la ragione del progetto. Si è cercato di capire cosa possiamo imparare da queste esperienze in un momento in cui sembra che ci sia una forte pressione da parte dei governi e dei gruppi di difesa dei diritti per una maggiore regolamentazione.
Qual è la situazione attuale della regolamentazione biometrica a livello globale? Quanto sono maturi i quadri giuridici per gestire questa tecnologia emergente?
Ci sono circa 130 paesi nel mondo che hanno leggi sulla protezione dei dati. Quasi tutte riguardano i dati biometrici. Quindi, esistono effettivamente leggi per regolare i dati biometrici nella maggior parte dei paesi. Ma, a ben guardare, quali sono i limiti di una legge sulla protezione dei dati? In genere aiuta a stabilire in che casi vengono utilizzati i dati biometrici e che non vengano utilizzati per scopi per i quali non è stato dato il consenso. Ma questioni come l’accuratezza e la discriminazione, per esempio, hanno ancora ricevuto pochissima attenzione legale.
E l’idea di bandire completamente la tecnologia? E’ successo soprattutto negli Stati Uniti a livello di città e singolo stato. A mio parere, le persone si dimenticano a volte che la maggior parte di questa attività legislativa si è concentrata sull’uso pubblico e, più specificamente, da parte della polizia. La realtà è che abbiamo un mix di leggi sulla protezione dei dati che fornisce alcune garanzie, ma è intrinsecamente limitato. E poi esiste una concentrazione di queste moratorie complete a livello di città e stato negli Stati Uniti.
Ci sono stati alcuni temi comuni emersi da questi casi di studio?
Per me, il più chiaro è stato il testo relativo all’India di Nayantara Ranganathan e quello sul database australiano di riconoscimento facciale di Monique Mann e Jake Goldenfein. Entrambi descrivono enormi architetture statali centralizzate in cui il punto è rimuovere la frammentazione tecnologica tra diversi stati e tra database e assicurare il collegamento unico. E’ come dire: “D’accordo, abbiamo una legge sulla protezione dei dati in cui si dice che i dati non dovrebbero mai essere utilizzati per uno scopo che non era stato immaginato o previsto”, ma nel frattempo, si stanno cambiando i termini di ciò che può essere anticipato. Oggi, il database che è stato utilizzato in un contesto di giustizia penale viene utilizzato in un contesto di immigrazione.
Per esempio, in diversi stati degli Stati Uniti, l’ICE (United States Immigration and Customs Enforcement) sta ora utilizzando o tentando di utilizzare il database DMV, nato in un contesto di utilizzo in ambito civile, per il controllo dell’immigrazione. Allo stesso modo in Australia, un gigantesco database, che include i dati della patente di guida, verrà ora utilizzato per scopi di giustizia penale e il dipartimento degli affari interni ne avrà la gestione.
Anche in India, la legge ha sostanzialmente affidato la maggior parte della discrezionalità alle autorità che hanno creato il database. Da questi tre esempi, quello che mi appare chiaro è che si deve leggere la legge nel contesto di strategie politiche più ampie. Se dovessi delineare una tendenza di fondo, parlerei di progressiva messa in sicurezza di ogni aspetto della governance, dalla giustizia penale all’immigrazione al welfare, che si manifesta con il sostegno alle tecnologie biometriche.
Un’altra lezione è che il consenso come strumento legale è decisamente venuto meno nel contesto dei dati biometrici, anche se non significa che sia inutile. Il caso di Woody Hartzog relativo al Bipa (Biometric Information Privacy Act) nell’Illinois, ci segnala la presenza di una serie di cause legali di successo contro le aziende che utilizzano il BIPA, l’ultima con Clearview AI. Ma non possiamo continuare ad aspettarci che “il modello del consenso” determini un cambiamento strutturale.
La nostra soluzione non può essere aspettare che l’utente dica a Facebook di non raccogliere i dati del proprio volto. Forse l’utente non lo farà e l’onere di prendere queste decisioni non dovrebbe spettare all’individuo. Si tratta di un insegnamento che la comunità della privacy ha appreso da tempo, come dimostrano leggi tipo il GDPR che non si basano solo sul consenso. Esistono anche regole guida rigide che dicono: se si raccolgono dati per un motivo, non si possono utilizzare per un altro scopo. E la raccolta di dati deve limitarsi alla quantità necessaria.
C’è stato qualche paese o stato che secondo Lei si è dimostrato particolarmente avanzato nel suo approccio alla regolamentazione della biometria?
Sì, e non sorprende che non sia un paese o uno stato. In realtà, è il Comitato Internazionale della Croce Rossa [CICR]. Nel volume, Ben Hayes e Massimo Marelli, entrambi rappresentanti del CICR, hanno sostenuto che c’era un legittimo interesse per loro a utilizzare la biometria nel contesto della distribuzione degli aiuti umanitari, ma hanno anche riconosciuto che c’erano molti governi che hanno fatto pressioni per accedere a quei dati al fine di perseguitare queste comunità.
Quindi si sono trovati di fronte a un vero e proprio dilemma e l’hanno risolto dicendo: vogliamo creare una politica biometrica che riduca al minimo l’effettiva conservazione dei dati biometrici delle persone, per cui avremo una carta su cui i dati biometrici delle persone sono archiviati in modo sicuro e che permetterà loro di ottenere l’accesso all’assistenza umanitaria fornita. Ma se decidono di buttare via quella carta, i dati non verranno memorizzati da nessun’altra parte. La politica ha sostanzialmente deciso di non creare un database biometrico con i dati dei rifugiati e di chi chiede aiuti umanitari. Per me, la lezione che ne deriva è riconoscere qual è il problema e in quel caso era che i database stavano creando un rischio reale.
Quali sono le principali lacune che vede negli approcci alla regolamentazione biometrica?
Per risponderle, partirei da un’altra domanda: in che modo la legge affronta la questione del pregiudizio e dell’accuratezza? Negli ultimi anni abbiamo visto numerose ricerche da parte di persone come Joy Buolamwini, Timnit Gebru e Deb Raji in cui ci si chiede: questi sistemi funzionano? Danneggiano qualcuno? E anche quando superano questi cosiddetti test di accuratezza, come si comportano effettivamente in un contesto di vita reale?
Il trattamento dei dati personali non si occupa di questi tipi di problemi. Quello che si è visto finora, soprattutto negli Stati Uniti, sono leggi che impongono controlli di accuratezza e non discriminazione per i sistemi di riconoscimento facciale. Alcuni di loro dicono: stiamo sospendendo l’uso del riconoscimento facciale, ma una condizione per revocare questa moratoria è il superamento del test di accuratezza e non discriminazione. E le prove a cui si riferiscono sono spesso relative a standard tecnici come il test del fornitore di riconoscimento facciale del NIST.
Ma come sostengo nel mio contributo, questi test hanno dimostrato di avere prestazioni inferiori nei contesti della vita reale e, cosa più importante, sono limitati nella loro capacità di regolare il loro impatto discriminatorio quando vengono applicati. Quindi sono davvero preoccupata in qualche modo che questi standard tecnici diventino una sorta di casella di controllo che deve essere spuntata e che poi ignora o offusca le altre forme di danno che queste tecnologie hanno nelle applicazioni reali.
In che modo questo compendio ha cambiato il suo modo di pensare alla regolamentazione biometrica?
La cosa più importante che ha fatto per me è stata non pensare alle norme solo come uno strumento che aiuterà a limitare questi sistemi. Le leggi possono esercitare un controllo su questi sistemi o legittimarli È solo quando guardiamo esempi come quello Indiano o Australiano che iniziamo a vedere la legge come uno strumento multiforme, che può essere utilizzato in modi diversi. Nel momento in cui ci chiediamo se queste tecnologie devono esistere, la legge, in particolare una debole regolamentazione, può rappresentare un rischio.
Se ho ben capito, Lei sta dicendo di fare attenzione perché anche la regolamentazione può essere utilizzata come un’arma?
Esattamente! Mi viene da pensare ai gruppi che lavoravano sulla violenza domestica in India. Il governo alla fine di decenni di lotta per i diritti dei sopravvissuti alla violenza domestica disse: “Abbiamo approvato questa legge”. Ma dopo non è cambiato nulla. Ricordo di aver pensato anche allora che a volte glorifichiamo l’idea di approvare leggi, ma tutto rimane uguale.
Nel loro intervento sui divieti e le moratorie, Clare Garvie e Jameson Spivack fanno notare che la maggior parte di questi divieti si applica solo all’uso governativo e lascia fuori una fetta enorme di industria privata multimiliardaria. La tecnologia biometrica verrà ancora usata al concerto di Taylor Swift in modi molto simili a come lo farebbe la polizia, vale a dire per tenere fuori le persone, per discriminarle. Cambia poco. Non credo sia impossibile arrivare al divieto totale, ma non siamo a questo punto. Quindi sì, dobbiamo essere più circospetti e critici riguardo al modo in cui valutiamo il ruolo della legge.
Quale messaggio positivo arriva dal compendio?
Non è facile rispondere. Probabilmente il contributo di Rashida Richardson e Stephanie Coyle, in cui si parla di un gruppo di genitori a New York che non volevano che i loro figli fossero sorvegliati. Loro dicevano: “Andremo a ogni singola riunione, anche se non si aspettano che lo facciamo. E ribadiremo che abbiamo questo problema”.
È stato davvero rassicurante conoscere una storia in cui i genitori hanno cambiato radicalmente il punto di vista e hanno detto di guardare solo alle conseguenze della tecnologia sui loro figli e se questo è davvero il miglior uso che si può fare del denaro. Un senatore ha raccolto la loro proposta e ha presentato un disegno di legge, e in agosto il senato dello stato di New York ha approvato questo disegno di legge. Ho festeggiato con Rashida perché mi ha fatto rendere che storie di questo tipo possono realmente accadere.
(rp)
