Un ecosistema in crescita di iniziative di startup che promuovono modelli etici di intelligenza artificiale promette di aiutare a portare chiarezza nei sistemi di monitoraggio dell’AI.
di Karen Hao
Rumman Chowdhury, responsabile dell’AI della società di consulenza Accenture, lavorava con i clienti che avevano difficoltà a comprendere il funzionamento dei modelli di intelligenza artificiale. Come facevano a sapere se questi modelli stavano realizzando quanto promettevano? La confusione spesso nasceva in parte perché i data scientist, gli avvocati e i dirigenti dell’azienda sembravano parlare lingue diverse. Alla fine del 2020, Chowdhury ha lasciato il suo incarico per iniziare la sua avventura con la piattaforma Parity AI, che offre ai clienti una serie di strumenti che cercano di velocizzare il processo di monitoraggio e fornisce consigli per affrontare il problema.
Parity raccoglie alcune startup che promettono alle organizzazioni modi per sviluppare, monitorare e correggere i loro modelli di intelligenza artificiale e offrono una gamma di prodotti e servizi, dagli strumenti di mitigazione dei pregiudizi alle piattaforme di “spiegabilità”. Inizialmente la maggior parte dei loro clienti proveniva da settori fortemente regolamentati come la finanza e l’assistenza sanitaria.
Ma la maggiore ricerca e l’attenzione dei media su questioni relative a pregiudizi , privacy e trasparenza hanno spostato il fulcro della conversazione. I nuovi clienti spesso sono semplicemente preoccupati di essere responsabili, mentre altri vogliono trovarsi pronti in previsione della regolamentazione.
Dal rischio all’impatto
Quando si lavora con nuovi clienti, Chowdhury evita di usare il termine “responsabilità”. La parola è troppo morbida e mal definita, nel senso che lascia spazio a problemi di comunicazione. Inizia invece con un gergo aziendale più familiare: l’idea di rischio. Molte aziende hanno settori e procedure definite per il rischio e la conformità.
La mitigazione del rischio dell’AI non è diversa. Un’azienda dovrebbe preventivamente considerare il rischio legale, ossia l’eventualità di infrangere la legge, il rischio organizzativo, vale a dire la possibilità di perdere dipendenti o il rischio reputazionale, cioè un danno serio d’immagine. Da qui si deve partire per decidere come controllare i sistemi di intelligenza artificiale.
Una società finanziaria, che opera secondo le leggi sul prestito equo negli Stati Uniti, dovrebbe controllare i suoi modelli di prestito al fine di mitigare il rischio legale. Una azienda di telemedicina, i cui sistemi si addestrano su dati medici sensibili, dovrebbe eseguire audit sulla privacy per mitigare il rischio reputazionale.
Parity aiuta a organizzare questo processo. La piattaforma chiede innanzitutto a un’azienda di costruire una valutazione di impatto interna, in sostanza, una serie di domande di sondaggio aperte su come funzionano la sua attività e i sistemi di intelligenza artificiale. Può scegliere domande personalizzate o selezionarle dalla libreria di Parity, che ha più di 1.000 suggerimenti adattati dalle linee guida sull’etica dell’AI e dalla legislazione pertinente di tutto il mondo.
Una volta definita la valutazione, i dipendenti di tutta l’azienda sono incoraggiati a contribuire in base alla loro funzione lavorativa e alle loro conoscenze. La piattaforma quindi esegue le risposte in testo libero attraverso un modello di elaborazione in linguaggio naturale e le traduce tenendo conto delle principali aree di rischio aziendali. Parity, in altre parole, funge da nuovo intermediario per favorire la collaborazione tra data scientist e avvocati.
Successivamente, la piattaforma consiglia un set corrispondente di azioni di mitigazione del rischio, che potrebbero includere la creazione di un dashboard per monitorare continuamente l’accuratezza di un modello o l’implementazione di nuove procedure di documentazione per tenere traccia di come un modello è stato addestrato e messo a punto in ogni fase del suo sviluppo. Offre anche una raccolta di framework e strumenti open source che potrebbero aiutare, come AI Fairness 360 di IBM per il monitoraggio dei pregiudizi o le Model Cards di Google per la documentazione.
Chowdhury spera che, riducendo il tempo necessario per controllare i loro modelli,le aziende diventeranno più disciplinate nel farlo regolarmente e spesso. Nel tempo, ciò potrebbe anche spingerle ad andare oltre la mitigazione del rischio. “Il mio obiettivo di fondo è in realtà quello di convincere più aziende a pensare all’impatto e non solo al rischio”, egli dice. “Il rischio è la lingua che le persone capiscono oggi, ma l’impatto è in realtà il modo migliore per inquadrare ciò che si dovrebbe fare”.
Un ecosistema di responsabilità
Mentre Parity si concentra sulla gestione del rischio, un’altra startup, Fiddler, si concentra sulla spiegabilità. Il CEO Krishna Gade ha iniziato a pensare alla necessità di una maggiore trasparenza nel modo in cui i modelli di intelligenza artificiale prendono le decisioni mentre prestava servizio come responsabile tecnico del team News Feed di Facebook. Dopo le elezioni presidenziali del 2016, l’azienda ha fatto pressioni internamente per capire meglio come i suoi algoritmi stavano classificando i contenuti. Il team di Gade ha sviluppato uno strumento interno che in seguito è diventato la base del “Perché è presente questa caratteristica?”.
Gade ha lanciato Fiddler poco dopo, nell’ottobre 2018, per aiutare i team di data science a tenere traccia delle prestazioni in evoluzione dei loro modelli e creare report di alto livello per i dirigenti aziendali in base ai risultati. Se la precisione di un modello si deteriora nel tempo o mostra comportamenti distorti, Fiddler aiuta a eseguire il debug del motivo per cui si verifica questa situazione. Gade vede i modelli di monitoraggio e il miglioramento della spiegabilità come i primi passi per sviluppare e distribuire l’AI in modo più consapevole.
Arthur, fondata nel 2019, e Weights&Biases, avviata nel 2017, sono altre due aziende che offrono piattaforme di monitoraggio. Come Fiddler, Arthur enfatizza la spiegabilità e la mitigazione dei pregiudizi, mentre Weights & Biases tiene traccia degli esperimenti di apprendimento automatico per migliorare la riproducibilità della ricerca. Tutte e tre le aziende hanno osservato un graduale spostamento delle principali preoccupazioni aziendali dalla conformità legale o dalle prestazioni del modello all’etica e alla responsabilità.
“All’inizio credevo che le aziende si sarebbero limitate ad associare il loro brand a qualcun altro che si sarebbe occupato delle responsabilità dell’AI”, afferma Liz O’Sullivan, vicepresidente dell’AI responsabile di Arthur, che è anche direttore tecnologico dell’organizzazione di attivisti Surveillance Technology Oversight Project. Ma molti dei clienti di Arthur hanno cercato di pensare oltre le semplici correzioni tecniche alle loro strutture di governance e agli approcci al design inclusivo. “È stato così emozionante vedere che sono davvero coinvolti nel voler fare la cosa giusta”, egli conclude.
Immagine di: Getty
(rp)
