Una delle più grandi banche d’affari del mondo, Goldman Sachs, si è difesa nello scandalo della Apple Card sostenendo che il calcolo del merito creditizio non ha nulla a che vedere con l’appartenenza di genere.
di Karen Hao
All’inizio di questa settimana, il Dipartimento dei servizi finanziari di New York ha avviato un’indagine su Goldman Sachs per una potenziale discriminazione creditizia basata sul genere. L’indagine è arrivata dopo che l’imprenditore web David Heinemeier Hansson ha twittato che la Apple Card, gestita da Goldman Sachs, gli aveva concesso un limite di credito 20 volte superiore a quello della moglie, malgrado avessero fatto una dichiarazione dei redditi comune e lei avesse un punteggio migliore per l’accesso al credito.
Tweet di Hansonn
La AppleCard è un fottuto programma sessista. Mia moglie ed io abbiamo presentato dichiarazioni fiscali comuni, viviamo sotto lo stesso tetto e siamo sposati da molto tempo. Tuttavia l’algoritmo della black box di Apple pensa che io meriti 20 volte il limite di credito di mia moglie. Qualcosa non va.
In risposta al tweet, Goldman ha pubblicato una dichiarazione in cui afferma che non ha preso in considerazione il genere nel determinare l’affidabilità creditizia. Come si può, infatti, discriminare una donna se non si sa neanche di avere a che fare con una donna?
Ma in realtà, non riuscire a tenere conto del genere è esattamente il problema. La ricerca sull’equità algoritmica ha precedentemente dimostrato che la considerazione del genere aiuta effettivamente a mitigare la distorsione di genere. Ironia della sorte, tuttavia, farlo negli Stati Uniti è illegale.
I risultati preliminari di uno studio in corso finanziato dalla Fondazione delle Nazioni Unite e dalla Banca mondiale stanno ancora una volta mettendo in discussione l’equità del sistema dei prestiti alla cieca. Lo studio ha scoperto che la creazione di modelli di affidabilità creditizia completamente separati per uomini e donne ha concesso alla maggior parte delle donne più credito.
La legge dovrebbe essere aggiornata?
Se non si vuole questa discriminazione, perché non rimuovere semplicemente il genere dall’equazione? Questa era la premessa dell’Equal Credit Opportunity Act (ECOA), emanato negli Stati Uniti nel 1974, in un periodo in cui alle donne veniva regolarmente negato il credito. La legge ha reso illegale per qualsiasi creditore discriminare sulla base del sesso o considerare il sesso nel valutare la solvibilità (Nel 1976, è stato aggiornato per vietare la discriminazione per razza, origine nazionale e altre caratteristiche protette dal governo federale).
Ma nell’apprendimento automatico, la cecità di genere può essere il problema. Anche quando il genere non è specificato, può essere facilmente dedotto da altre variabili che sono altamente correlate con esso. Di conseguenza, i modelli formati su dati storici privati del genere amplificano ancora le disuguaglianze del passato. Lo stesso vale per la “razza” e altre caratteristiche. Questo è probabilmente ciò che è accaduto nel caso della Apple Card: poiché storicamente alle donne è stato concesso meno credito, l’algoritmo ha imparato a perpetuare quel modello.
In uno studio del 2018, una collaborazione tra scienziati informatici ed economisti ha scoperto che il modo migliore per mitigare questi problemi era in effetti reintrodurre caratteristiche come il genere e l’etnia nel modello. Ciò consente un maggiore controllo per misurare e invertire qualsiasi pregiudizio, con conseguente maggiore equità nel complesso.
Prestiti differenziati per genere
L’ultimo studio sta testando una nuova ipotesi: modelli separati per uomini e donne ridurrebbero i pregiudizi di genere? Ad un evento ospitato martedì dalla Fondazione delle Nazioni Unite, Sean Higgins, un professore associato della Northwestern University che ha partecipato alla ricerca, ha presentato risultati preliminari che suggeriscono una risposta positiva.
In collaborazione con una banca commerciale della Repubblica Dominicana, i ricercatori hanno condotto due indagini separate su 20.000 persone a basso reddito, la metà delle quali donne. Nella prima, i ricercatori hanno utilizzato le storie di rimborso dei prestiti e il genere per formare un singolo modello di apprendimento automatico per prevedere l’affidabilità creditizia.
Nella seconda, i ricercatori hanno formato un modello con solo i dati di rimborso del prestito delle donne. Hanno scoperto che il 93 per cento delle donne ha ottenuto più credito in questo modello che in quello in cui uomini e donne erano mescolati insieme.
Ciò accade, spiega Higgins, perché donne e uomini hanno storie di credito diverse e comportamenti di rimborso del prestito diversi, sia per ragioni storiche, culturali o di altro tipo. Le donne, per esempio, hanno maggiori probabilità di rimborsare i loro prestiti. Ma queste differenze non sono spiegate nel modello combinato, che prevede l’affidabilità creditizia sulla base delle medie tra donne e uomini. Di conseguenza, tali modelli sottostimano la probabilità che le donne rimborsino i loro prestiti e finiscono per concedere loro meno credito di quanto meritino.
Mentre Higgins e i suoi collaboratori hanno testato questa ipotesi specificamente per le donne a basso reddito nella Repubblica Dominicana, i risultati qualitativi dovrebbero essere validi indipendentemente dal contesto. Dovrebbero anche applicarsi a caratteristiche diverse dal genere e in settori diversi dalla finanza.
Il destino della legge
Il problema è che questo tipo di modello mono-genere è illegale. La domanda è se i responsabili politici debbano quindi aggiornare l’ECOA.
Higgins è a favore. “La recente ricerca sull’equità algoritmica ha raggiunto una conclusione abbastanza chiara sul fatto che dovremmo usare categorie come etnia e genere negli algoritmi”, egli afferma. “Se le banche non hanno accesso a tali variabili e non riescono nemmeno a integrare i controlli di sicurezza per assicurarsi che i loro algoritmi non siano distorti, l’unico modo in cui scopriamo questi pregiudizi è quando le persone twittano sulle disparità che si stanno incontrando nella vita quotidiana”.
Ma Andrew Selbst, un ricercatore di diritto dell’UCLA, esperto di rapporti tra IA e legge, mette in guardia dal muoversi troppo rapidamente: “Riscrivere la legge in questo modo apre la strada a chi vorrebbe includere variabili relative a etnie e genere per fare opera di discriminazione”.
(rp)
