A Buenos Aires, il primo sistema conosciuto di questo tipo viene impiegato dall’amministrazione cittadina per andare alla ricerca dei minori che compaiono in un database nazionale di presunti autori di reato.
di Karen Hao
In un database nazionale in Argentina, decine di migliaia di voci descrivono nomi, data di nascita e documenti di identità delle persone sospettate di crimini. Il database, noto come Consulta Nacional de Rebeldías y Capturas (Registro nazionale dei fuggitivi e degli arresti), o CONARC, è stato inaugurato nel 2009 per migliorare l’applicazione della legge per crimini gravi.
Ma ci sono diverse cose da dire su CONARC. In primo luogo, è un foglio di calcolo di testo non protetto da password, che può essere facilmente trovato tramite il sistema di Ricerca di Google e scaricato da chiunque. In secondo luogo, molti dei presunti crimini, come i piccoli furti, non sono così gravi, mentre altri non sono specificati affatto.
L’aspetto più allarmante, tuttavia, è l’età del presunto colpevole più giovane, identificato solo come M.G., che viene citato per “crimini contro le persone e lesioni gravi”. A quanto si legge, M.G. è nato il 17 ottobre 2016, il che significa che ha meno di quattro anni.
Una recente inchiesta di Human Rights Watch ha scoperto che non solo i bambini vengono regolarmente inseriti in CONARC, ma il database alimenta anche un sistema di riconoscimento facciale dal vivo a Buenos Aires voluto dall’amministrazione cittadina. Ciò rende il sistema probabilmente la prima istanza nota del suo genere utilizzata per rintracciare bambini sospettati di attività criminale.”È un sistema oltraggioso”, afferma Hye Jung Han, un difensore dei diritti dei bambini presso Human Rights Watch, che ha condotto la ricerca.
Buenos Aires ha iniziato a sperimentare il riconoscimento facciale in tempo reale il 24 aprile 2019. Implementato senza alcuna consultazione pubblica, il sistema ha suscitato resistenze immediate. A ottobre, un’organizzazione nazionale per i diritti civili ha intentato una causa per contestarlo. In risposta, il governo ha redatto un nuovo disegno di legge, che ora sta attraversando l’iter parlamentare per legalizzare il riconoscimento facciale negli spazi pubblici.
Il sistema è stato progettato per collegarsi a CONARC sin dall’inizio. Sebbene CONARC stesso non contenga foto dei presunti trasgressori, è combinato con documenti d’identità con foto del registro nazionale. Il software utilizza le foto ritratto dei sospetti per scansionare le attività cittadine in tempo reale tramite le telecamere della metropolitana della città. Una volta che il sistema segnala una persona, avvisa la polizia per effettuare un arresto.
Da allora il sistema ha portato a numerose identificazioni errate in quanto la polizia non ha un protocollo stabilito per la gestione. Un uomo è stato detenuto per sei giorni e stava per essere trasferito in una prigione di massima sicurezza prima di chiarire finalmente la sua identità. A un altro è stato detto che avrebbe dovuto aspettarsi di essere ripetutamente segnalato in futuro anche se aveva dimostrato di non essere la persona che la polizia stava cercando. Per risolvere il problema, gli hanno dato un lasciapassare da mostrare a chi avrebbe potuto fermarlo di nuovo.
“Sembra che non ci sia alcun meccanismo per correggere gli errori nell’algoritmo o nel database”, dice Han. “Questo è cosa accade quando un governo utilizza una tecnologia che non comprende molto bene in termini di tutte le implicazioni tecniche e quelle legate al rispetto dei diritti umani”. La situazione sarebbe già profondamente preoccupante, ma l’aggiunta di bambini all’equazione peggiora le cose.
Anche se il governo ha pubblicamente negato che CONARC includa minori, Human Rights Watch ha trovato almeno 166 bambini elencati in varie versioni del database tra maggio 2017 e maggio 2020. A differenza di M.G., la maggior parte di loro sono identificati con il nome completo, che è illegale. Ai sensi del diritto internazionale sui diritti umani, i minori accusati di un crimine devono avere la loro privacy protetta durante tutto il procedimento.
Inoltre, a differenza di M.G., la maggior parte aveva 16 o 17 anni al momento dell’ingresso, anche se, misteriosamente, ci sono stati alcuni bambini appartenenti a una fascia da uno a tre anni. Le età non sono gli unici errori evidenti che riguardano i bambini. Ci sono errori di battitura palesi, dettagli contrastanti e talvolta più ID nazionali elencati per lo stesso individuo. Poiché i bambini cambiano fisicamente più velocemente degli adulti, i loro documenti di identità con foto sono più a rischio di essere obsoleti.
Inoltre, i sistemi di riconoscimento facciale, anche in condizioni di laboratorio ideali, sono notoriamente pessimi nel gestire i bambini perché sono addestrati e testati principalmente sugli adulti. Il sistema di Buenos Aires non è diverso. Secondo i documenti ufficiali, è stato testato solo sui volti adulti dei dipendenti del governo cittadino prima dell’appalto. I precedenti test del governo degli Stati Uniti sull’algoritmo specifico indicano che ha prestazioni peggiori di un fattore sei sui bambini (dai 10 ai 16 anni) rispetto agli adulti (dai 24 ai 40 anni).
Tutti questi fattori espongono i bambini a un rischio maggiore di essere identificati e arrestati erroneamente. Ciò potrebbe creare precedenti penali ingiustificati, con ripercussioni potenzialmente di lunga durata sulle loro opportunità di istruzione e lavoro. Potrebbe anche avere un impatto sul loro comportamento.
“L’argomento secondo cui il riconoscimento facciale produce un effetto negativo sulla libertà di espressione è ancora più vero per i bambini”, afferma Han. “ Ed è ancora presto per cercare di capire gli impatti psicologici a lungo termine e come potrebbe modellare anche la loro visione del mondo e la loro mentalità.
Mentre Buenos Aires è la prima città che sta di sicuro usando il riconoscimento facciale in tempo reale per rintracciare i bambini,Han teme che ce ne siano molte altre che lo utilizzano di nascosto. A gennaio, Londra ha annunciato che avrebbe integrato il riconoscimento facciale dal vivo nelle sue operazioni di polizia. Dopo pochi giorni, Mosca ha dichiarato di aver implementato un sistema simile in tutta la città.
Sebbene non sia ancora noto se questi sistemi stiano attivamente alla ricerca di bambini, alcuni effetti negativi già ci sono. Nel documentario del 2020 Coded Bias, un ragazzo viene erroneamente detenuto dalla polizia di Londra dopo che il riconoscimento facciale dal vivo lo scambia per qualcun altro. Non è chiaro se la polizia stesse effettivamente cercando un minore o qualcuno più anziano.
Anche chi non è detenuto sta perdendo il diritto alla privacy, dice Han. Spesso è facile dimenticare nei dibattiti su questi sistemi che i bambini hanno bisogno di una considerazione speciale. Ma non è l’unico motivo di preoccupazione, aggiunge Han. “Questo tipo di sorveglianza invasiva ha implicazioni sociali ancora sconosciute”. In altre parole: ciò che è male per i bambini è in definitiva un male per tutti.
(rp)
