La comunità scientifica sta cercando di capire da dove nascano i pregiudizi nel campo dell’intelligenza artificiale e mette in discussione il concetto di neutralità.
di Karen Hao
Ultimamente ho letto How to Be an Antiracist di Ibram X. Kendi e ho riflettuto molto se quanto sostenuto nel libro sia valido per l’intelligenza artificiale. L’argomento centrale di Kendi è la non esistenza della neutralità. L’opposto dell’essere razzista, dice, non è essere “non razzista”, ma essere antirazzista: respingere e smantellare attivamente le politiche e le condotte razziste. “Non razzista” assume una posizione che rafforza lo status quo: in sostanza essere razzista.
L’anno scorso ho dedicato molto tempo ad approfondire i pregiudizi algoritmici, la loro base teorica e le manifestazioni concrete. In genere si ripeteva la stessa argomentazione: gli algoritmi sono distorti perché i dati sono distorti; i dati sono distorti perché la società è distorta. Solo quando ho letto il libro di Kendi ho finalmente intravisto una spiegazione del perchè il pregiudizio nell’IA rappresenti un problema di fondo.
Il punto cruciale è che l’IA come campo opera nella convinzione di essere neutrale. In effetti la maggior parte dei settori scientifici, matematici e tecnici sono basati su questa convinzione, come mi è stato detto più volte durante i miei anni universitari al MIT. Mentre passavo da una dimostrazione matematica a un codice, mi hanno anche insegnato che quelle dimostrazioni e quei codici erano eleganti perché erano obiettivi e aiutavano a discernere spassionatamente e descrivere la natura dell’universo, liberi dalla volubilità delle emozioni e del giudizio umani.
Ma la scienza è un prodotto delle persone quanto qualsiasi altra creazione umana. Quindi il suo avanzamento e la sua applicazione non possono mai essere neutrali. Questo è il motivo per cui eliminare il pregiudizio dall’IA fino ad ora è sembrato un gioco a perdere: assumere una posizione di neutralità semplicemente rafforza lo status quo. Alla fine, l’imparzialità della matematica non può invertire secoli di razzismo sistemico, sessismo e altre forme di oppressione. Ciò può essere fatto solo da algoritmi e processi per la creazione di algoritmi progettati per smantellare attivamente politiche e pratiche oppressive.
Naturalmente, nessuna di queste idee è mia o è nuova. C’è una estesa comunità di studiosi dell’intelligenza artificiale, guidata principalmente da ricercatori neri, di colore e queer, che spingono in questa direzione da anni. Proprio questa settimana, Pratyusha Kalluri, ricercatrice di Stanford e co-creatore della Radical AI Network, ha contribuito al dialogo con un articolo su “Nature” in cui sfida gli scienziati a esaminarsi attraverso la lente del potere mutevole. “Molti ricercatori pensano che l’IA sia neutra e spesso benefica, deformata solo da dati distorti provenienti da una società iniqua”, ella scrive. “In realtà, il non schierarsi è solo al servizio dei potenti”.
L’articolo di Kalluri prende le mosse da un discorso sulla diversità e inclusione tenuto lo scorso anno durante la Conference on Neural Information Processing Systems, in cui ha sostenuto che gran parte della ricerca sull’IA fatta oggi è al servizio dei gruppi che prendono le decisioni, vale a dire chi ha già potere. Il settore dell’IA si è concentrato sull’aumento della trasparenza algoritmica, per esempio, ma ha cercato di aumentare la trasparenza solo per coloro che utilizzano i sistemi di intelligenza artificiale, non per gli utenti finali.
Alcuni hanno definito questa linea di pensiero come la “seconda ondata di consapevolezza algoritmica“. Considerando che la prima ondata ha criticato i sistemi di intelligenza artificiale esistenti all’interno della cultura e delle norme del settore (per esempio: “i dati sono distorti quindi usiamo la matematica per sistemarli”), la seconda ondata critica cerca di intervenire sulle strutture alla base di questi sistemi.
La buona notizia è che le voci dei sostenitori della seconda ondata sono in aumento e sono diventate una forza importante per il cambiamento, soprattutto dopo la morte di George Floyd e l’accelerazione del movimento globale per la giustizia razziale. È con questo slancio, per esempio, che i maggiori produttori dei sistemi di riconoscimento facciale, come Amazon, Microsoft e IBM, hanno scelto di sospendere o interrompere le loro forniture alla polizia. Ed è in linea con questa tendenza che centinaia di membri della comunità dell’IA hanno firmato una lettera aperta a “Springer Nature” sottolineando il ruolo degli editori nel perpetuare il razzismo nel mondo della ricerca.
Lo scontro tra le idee della prima e della seconda ondata è arrivato sempre più a definire il discorso all’interno della comunità dell’IA. Due settimane fa, è giunto al culmine durante un dibattito su Twitter tra Yann LeCun, il responsabile scientifico dell’IA di Facebook, e Timnit Gebru, la co-responsabile tecnica dell’Ethical Artificial Intelligence Team di Google. La discussione verteva su Pulse, un sistema di intelligenza artificiale al centro delle polemiche dopo che diverse persone avevano scoperto che stava convertendo foto a bassa risoluzione di persone di colore in foto ad alta risoluzione di bianchi.
LeCun ha subito parlato di “dati distorti”. Gebru lo ha duramente criticato per aver trascurato le radici più profonde del problema. L’acceso confronto si è concluso con LeCun che ha sostenuto la necessità di un passo indietro da parte di Twitter.
Osservare tutti questi sviluppi mi ha infuso speranza per il futuro dell’IA. E’ la dimostrazione che la comunità di IA si sta evolvendo, anche a costo di divisioni dolorose, verso il riconoscimento che la neutralità non è più un’opzione perseguibile.
(rp)
