Sempre più avvocati civilisti stanno combattendo i sistemi automatizzati per la valutazione del credito che hanno fatto perdere a molti cittadini abitazione, posto di lavoro e assistenza di base.
di Karen Hao
Miriam aveva solo 21 anni quando ha incontrato Nick. Era una fotografa, fresca di college, che lavorava in un ristorante. Lui aveva 16 anni più di lei ed era un imprenditore locale che aveva lavorato nel settore finanziario. Era un tipo affascinante e carismatico e, inevitabilmente, cominciarono a frequentarsi.
I problemi sono iniziati con una carta di credito. A quel tempo, era l’unica che aveva. Nick si indebitava fino a 5.000 dollari di acquisti aziendali e copriva la somma il giorno successivo. Miriam, che mi ha chiesto di non usare i loro veri nomi per paura di interferire con le procedure di divorzio in corso, ha scoperto che in questo modo stava aumentando il suo punteggio di credito. Essendo cresciuta con un padre single in una famiglia a basso reddito, si è fidata dell’esperienza di Nick. Miriam gli ha aperto altre carte di credito a suo nome.
I guai sono iniziati tre anni dopo. Nick le ha chiesto di lasciare il lavoro per aiutarlo nei suoi affari. Lo ha fatto. Le ha chiesto di frequentare la scuola di specializzazione e di non preoccuparsi di aggravare il suo debito studentesco. Ha fatto anche questo. Ha promesso di prendersi cura di tutto e lei gli ha creduto. Poco dopo, ha smesso di regolare i saldi della sua carta di credito. Il suo punteggio è cominciato a crollare.
Ma è rimasta con lui. Si sono sposati e hanno avuto tre figli. Poi un giorno, l’FBI è venuto a casa loro e lo ha arrestato. Il giudice del tribunale federale lo ha condannato al pagamento di quasi 250.000dollari per frode telematica. Miriam ha scoperto debiti per decine di migliaia di dollari che aveva accumulato a suo nome. “Il giorno in cui è andato in prigione, avevo 250 dollari in contanti, la casa e l’auto in pignoramento, e tre bambini”, ella dice. “Sono passata in un mese dall’avere una tata e vivere in una bella casa alla povertà assoluta”.
Miriam è una sopravvissuta a quello che è noto come “debito forzato”, una forma di abuso solitamente perpetrato da un partner intimo o un familiare. Mentre l’abuso economico è un problema di vecchia data, il digital banking ha reso più facile aprire conti e contrarre prestiti a nome di una vittima, afferma Carla Sanchez-Adams, avvocato di Texas RioGrande Legal Aid. Nell’era degli algoritmi automatici di valutazione del credito, le ripercussioni possono essere anche molto più devastanti.
I punteggi di credito sono stati utilizzati per decenni per valutare l’affidabilità creditizia del consumatore, ma il loro ambito è di gran lunga maggiore ora che sono alimentati da algoritmi: non solo prendono in considerazione molti più dati, ma determinano sempre più se è possibile acquistare un macchina, affittare un appartamento o trovare un lavoro a tempo pieno.
La loro influenza globale significa che se il punteggio è basso, può essere quasi impossibile recuperarlo. Peggio ancora, gli algoritmi sono di proprietà di aziende private che non divulgano il modo in cui arrivano alle loro decisioni. Le vittime possono essere travolte da una spirale discendente che a volte sfocia nella povertà assoluta o nella dipendenza dal loro aggressore.
Gli algoritmi di valutazione del credito non sono gli unici che influenzano il benessere economico delle persone e l’accesso ai servizi di base. Gli algoritmi ora decidono quali bambini entrano in affido, quali pazienti ricevono cure mediche, quali famiglie hanno accesso a un alloggio stabile. Chi ha redditi fissi può passare la vita inconsapevole di tutto ciò, ma per le persone a basso reddito, la rapida crescita e l’adozione di sistemi decisionali automatizzati ha creato una rete nascosta di trappole interconnesse.
Fortunatamente, un gruppo crescente di avvocati civilisti sta iniziando a organizzarsi attorno a questo problema. A partire dallo studio degli algoritmi di valutazione del rischio, stanno costruendo una comunità che si occupi di sviluppare strategie di contenzioso. “Fondamentalmente ogni avvocato civilista si occupa di questi aspetti, perché tutti i clienti sono in un modo o nell’altro coinvolti in questi problemi”, afferma Michele Gilman, professore di diritto clinico presso l’Università di Baltimora.
Gli algoritmi non sono trasparenti
Gilman esercita la professione forense a Baltimora da 20 anni. Nel suo lavoro di avvocato civilista e difensore delle fasce sociali più deboli, si è sempre occupato di rappresentare persone che hanno perso l’accesso ai servizi di base, come alloggio, cibo, istruzione, lavoro o assistenza sanitaria. Alcune volte ciò significa confrontarsi con un’agenzia governativa, altre con un’agenzia di segnalazione del credito o un proprietario. Sempre più spesso, il rispetto dei diritti di un cliente coinvolge un qualche tipo di algoritmo, in genere invisibile.
Non ricorda esattamente quando si è resa conto che alcune decisioni di ammissibilità venivano prese da algoritmi e raramente sembravano ovvie. Una volta, rappresentava un cliente anziano e disabile che era stato inspiegabilmente escluso dalla sua assistenza sanitaria domiciliare finanziata da Medicaid. “Non riuscivamo capire il motivo”, ricorda Gilman. “Si aggravava sempre più e normalmente questo implica più ore di malattia, non meno”.
Solo quando si trovarono in aula nel bel mezzo di un’udienza il testimone che rappresentava lo stato rivelò che il governo aveva appena adottato un nuovo algoritmo. Il testimone, un’infermiera, non poteva spiegare nulla al riguardo, nel senso che non aveva idea di come fosse costruito. “Come viene articolato l’algoritmo? Di cosa va alla ricerca”, ci chiedemmo.
Per Kevin De Liban, avvocato presso Legal Aid of Arkansas, il cambiamento è stato altrettanto insidioso. Nel 2014, il suo stato ha istituito un nuovo sistema per la distribuzione dell’assistenza domiciliare finanziata da Medicaid, tagliando fuori tutta una serie di persone che in precedenza ne usufruivano. A quel tempo, lui e i suoi colleghi non potevano identificare il problema alla radice. Sapevano solo che c’era qualcosa di diverso. “Un cambiamento era evidente nei sistemi di valutazione visto il passaggio da un questionario cartaceo di 20 domande a un questionario elettronico di 283 domande”, egli spiega.
Fu due anni dopo, quando un errore nell’algoritmo suscitò l’attenzione degli esperti legali, che De Liban finalmente prese completa coscienza del problema. Si rese conto che le infermiere dicevano ai pazienti: “Non dipende da me, ma dal computer”. “Se avessi saputo prima quello che ho capito nel 2016, probabilmente nel 2014 avrei svolto meglio il mio lavoro di difensore”, egli aggiunge.
Un circolo vizioso
Da allora Gilman è diventato molto più esperto, osservando con attenzione l’ascesa e la collisione di due reti algoritmiche. La prima consiste in algoritmi di segnalazione del credito, come quelli che hanno messo in trappola Miriam, che influenzano l’accesso a beni e servizi privati come automobili, case e lavoro. La seconda comprende algoritmi adottati dalle agenzie governative, che influenzano l’accesso ai benefici pubblici come l’assistenza sanitaria, la disoccupazione e i servizi di sostegno all’infanzia.
Per quanto riguarda la segnalazione del credito, la crescita degli algoritmi è stata guidata dalla proliferazione di dati. Le agenzie di segnalazione dei consumatori, comprese le agenzie di credito, le società di screening degli inquilini o i servizi di verifica degli assegni, raccolgono queste informazioni da un’ampia gamma di fonti: registri pubblici, social media, navigazione web, attività bancaria, utilizzo di app e altro. Gli algoritmi assegnano quindi punteggi di “affidabilità” alle persone, che sono centrali nei controlli dei precedenti eseguiti da istituti di credito, datori di lavoro, proprietari e persino scuole.
Le agenzie governative, d’altra parte, sono spinte a fare uso di algoritmi quando vogliono modernizzare i loro sistemi. L’adozione generalizzata di app e strumenti digitali basati sul Web è iniziata all’inizio degli anni Duemila ed è proseguita con un passaggio verso sistemi automatizzati e di AI basati sui dati. Ci sono buone ragioni per muoversi in questa direzione. Durante la pandemia, molti sistemi di indennità di disoccupazione hanno faticato a gestire l’enorme volume di nuove richieste, portando a ritardi significativi. La modernizzazione di sistemi antiquati permette di ottenere risultati più rapidi e affidabili.
Ma il processo di approvvigionamento del software è raramente trasparente e quindi risulta difficile attribuire le responsabilità. Le agenzie pubbliche spesso acquistano strumenti decisionali automatizzati direttamente da fornitori privati. Il risultato è che quando i sistemi funzionano male, le persone colpite – e i loro avvocati – brancolano nel buio. “Non troviamo i dati da nessuna parte”, afferma Julia Simon-Mishel, avvocato della Philadelphia Legal Assistance. “Spesso non è scritto in nessun tipo di guide o manuali di policy. Abbiamo le mani legate”.
La mancanza di controllo pubblico rende anche i sistemi più inclini all’errore. Uno dei malfunzionamenti più eclatanti si è verificato nel Michigan nel 2013. Malgrado il grande impegno per automatizzare il sistema statale di sussidi di disoccupazione, l’algoritmo ha segnalato erroneamente oltre 34.000 persone per frode, causando “fallimenti e suicidi. Si è creato il caos”, sostiene Simon-Mishel.
Le persone a basso reddito sopportano il peso maggiore del passaggio agli algoritmi. Sono quelli più vulnerabili alle difficoltà economiche temporanee che vengono codificate nei rapporti dei consumatori e quelli che hanno bisogno del sostegno pubblico. Nel corso degli anni, Gilman ha visto sempre più casi in cui i clienti rischiano di entrare in un circolo vizioso. “Una persona utilizza quotidianamente tanti sistemi”, afferma. “Voglio dire, lo facciamo tutti. Ma le conseguenze sono molto più penalizzanti per i poveri e le minoranze”.
A conforto delle sue affermazioni, riporta un caso successo nella sua clinica. Una persona ha perso il lavoro a causa della pandemia e gli è stato negato il sussidio di disoccupazione a causa di un guasto del sistema automatizzato. La sua famiglia è rimasta indietro nel pagamento dell’affitto, inducendo il padrone di casa a citarli in giudizio per lo sfratto. Mentre lo sfratto non diventerà esecutivo grazie alla moratoria del CDC, la causa verrà comunque registrata nei registri pubblici.
Queste registrazioni potrebbero alimentare gli algoritmi di screening degli inquilini, rendendo più difficile per la famiglia trovare un alloggio stabile in futuro. Il mancato pagamento dell’affitto e delle utenze potrebbe anche essere un problema per il loro punteggio di credito, che a sua volta porterà a una serie di ripercussioni. “Se vogliono chiedere un prestito o acquistare un’auto o fare domanda per un lavoro, avranno serie difficoltà a ottenerli”, dice Gilman.
L’unica strada è quella della collaborazione
A settembre, Gilman, ora docente presso l’istituto di ricerca Data and Society, ha pubblicato Poverty Lawgorithms, un rapporto in cui documenta tutti i vari algoritmi che gli avvocati impegnati nel sociale potrebbero trovarsi di fronte. La “guida” è divisa in aree di pratica specifiche come diritto dei consumatori, diritto di famiglia, alloggi e benefici pubblici, e spiega come affrontare le questioni sollevate dagli algoritmi e da altre tecnologie basate sui dati nell’ambito delle leggi esistenti.
Se a un cliente viene negato un appartamento a causa di un punteggio di credito scadente, per esempio, il rapporto consiglia a un avvocato di verificare prima se i dati inseriti nel sistema di punteggio sono accurati. Ai sensi del Fair Credit Reporting Act, le agenzie di segnalazione sono tenute a garantire la validità delle loro informazioni, ma ciò non sempre accade. La contestazione di irregolarità potrebbe aiutare a ripristinare il credito del cliente e, quindi, l’accesso all’alloggio. Il rapporto riconosce, tuttavia, che ci sono ancora lacune normative da colmare, afferma Gilman.
Gilman spera che il rapporto sarà un campanello d’allarme. Molti dei suoi colleghi non si rendono ancora conto di tutto ciò e non sono in grado di capire il funzionamento degli algoritmi. La soluzione è mettere in contatto chi ha conoscenze più approfondite e creare una comunità più ampia di persone che possono aiutarsi a vicenda.
Gli avvocati penalisti si sono mossi “in anticipo”, egli dice, organizzandosi come una comunità e contrastando gli algoritmi di valutazione del rischio che determinano la condanna. Gli avvocati civilisti dovrebbero fare la stessa cosa: creare un movimento per migliorare il controllo pubblico e i sistemi di regolamentazione sulla rete nascosta di algoritmi.
Quanto a Miriam, dopo la condanna di Nick, si è trasferita con i suoi tre figli in un nuovo stato e si è collegata con un’organizzazione no profit che sostiene i diritti di chi è caduto nella trappola del debito forzato e della violenza domestica. Attraverso di loro, ha capito come gestire le sue finanze.
L’organizzazione l’ha aiutata a ripianare molti dei suoi debiti forzati e a saperne di più sugli algoritmi di credito. Quando è andata a comprare un’auto, il suo punteggio di credito ha appena superato il minimo con suo padre come co-firmatario. Da allora, i suoi pagamenti costanti sulla sua auto e il suo debito studentesco hanno lentamente ripristinato il suo punteggio di credito.
Miriam non può ancora abbassare la guardia. Nick ha il suo numero di previdenza sociale e non sono ancora divorziati. Ance se è preoccupata costantemente dalla possibilità che lui apra altri conti e contragga prestiti a suo nome, la sua vita sta cambiando in meglio. Suo padre, sulla sessantina, vuole andare in pensione e trasferirsi. I due sono ora concentrati sulla preparazione per l’acquisto di una casa. “Sono entusiasta. Il mio obiettivo è arrivare a 700 entro la fine dell’anno”, dice del suo punteggio,” e allora potrò avere una abitazione mia”.
Immagine: Daniel Zender
