Virginia Smith, della Carnegie Mellon University, ha proposto una forma di apprendimento collaborativo che non prevede la necessità di un unico controllo centrale.
di Karen Hao
All’inizio del suo dottorato in intelligenza artificiale, Virginia Smith aveva una domanda: come si addestra una rete neurale sui dati archiviati su più macchine? I suoi tentativi di trovare una risposta l’hanno resa leader nel campo dell’apprendimento federato, che cerca di gestire dati diffusi su centinaia, o addirittura milioni, di fonti remote.
I ricercatori di Google hanno introdotto per la prima volta l’apprendimento federato nel 2017 come sistema da utilizzare con i dispositivi mobili dell’azienda. Il metodo che hanno ideato prevedeva l’addestramento di milioni di reti neurali localmente prima di inviare i dati a un server aziendale per essere raggruppati in un modello principale. Questa modalità di lavoro ha consentito al modello master di addestrarsi sui dati di ogni dispositivo senza che fosse necessario centralizzare tali dati, riducendo non solo la latenza nell’esperienza mobile, ma migliorando anche la privacy di ciascun utente.
Ma combinare milioni di modelli di intelligenza artificiale rischia anche di creare un modello centrale che in linea di massima funziona bene, ma presenta limiti per i valori anomali, per esempio nel caso di un software di riconoscimento vocale che fallisce quando chi parla ha un accento non familiare.
Per ovviare a questo inconveniente, Smith ha proposto una nuova tecnica per un apprendimento federato più “personalizzato”. Invece di unire un milione di modelli localizzati in uno, raggruppa i modelli localizzati più simili in pochi: più i dati sono eterogenei, maggiore è il numero di modelli finali. Ogni modello apprende ancora da molti dispositivi, ma è anche adattato a sottoinsiemi specifici della popolazione di utenti.
Smith lavora anche per superare altre sfide nell’apprendimento federato, come tenere conto dei diversi limiti di potenza e memoria su dispositivi diversi. Per incoraggiare ulteriori ricerche, ha co-creato uno strumento open source che consente ai ricercatori di testare le loro tecniche federate su set di dati e ambienti più realistici.
Immagine: Virginia Smith
(rp)
