L’Allen Institute for Artificial Intelligence (AI2) propone un nuovo modo per favorire l’apprendimento automatico ad alta efficienza energetica.
di Karen Hao
Sempre più ricercatori stanno dando l’allarme per i crescenti costi dell’apprendimento profondo. Nel 2018, OpenAI ha pubblicato uno studio che mostra che le risorse computazionali necessarie per formare modelli di grandi dimensioni raddoppiano ogni tre o quattro mesi.
A giugno, un altro studio ha scoperto che lo sviluppo di modelli di elaborazione del linguaggio naturale su larga scala, in particolare, potrebbe avere un impatto ambientale considerevole.
Il fenomeno è determinato dalla volontà della comunità di ricerca di far avanzare lo stato dell’arte, con poca attenzione ai costi. Non a caso, mentre ci sono classifiche che celebrano i progressi delle prestazioni, raramente viene menzionato il prezzo da pagare dal punto di vista ambientale.
In genere, gli aumenti lineari delle prestazioni vengono realizzati attraverso aumenti esponenziali delle risorse. A questo ritmo, un esperto prevede che l’IA potrebbe rappresentare fino a un decimo del consumo di elettricità del mondo entro il 2025.
Queste statistiche non riguardano solo l’ambiente. Hanno anche implicazioni sulla qualità dei progressi in tutto il settore. L’enorme quantità di risorse necessarie per produrre risultati privilegia i laboratori accademici di intelligenza artificiale.
Ciò potrebbe limitare lo sviluppo di progetti a breve termine che guardano più agli incentivi aziendali che ai progressi a lungo termine che andrebbero a beneficio della comunità.
In un documento recente, i ricercatori dell’AI2 di Seattle hanno proposto una soluzione originale per contrastare questa tendenza. Loro chiedono ai ricercatori di AI di pubblicare sempre i costi finanziari e computazionali della formazione dei loro modelli insieme ai risultati delle loro prestazioni.
Con una maggiore trasparenza su ciò che serve per ottenere i miglioramenti delle prestazioni, gli autori sperano di favorire l’afflusso di più investimenti nello sviluppo di algoritmi di apprendimento automatico efficienti.
Oren Etzioni, CEO di AI2 e autore del documento, ritiene che nelle pubblicazioni e nelle conferenze di settore si dovrebbero premiare coloro che curano con particolare attenzione efficienza ed accuratezza. Fino a quando non ci saranno standard per valutare l’efficienza, sarà difficile valutarne l’importanza generale.
Negli ultimi anni, c’è stata una escalation della quantità di potenza di calcolo che i laboratori di ricerca aziendale stanno sfruttando per gli algoritmi di apprendimento profondo.
Ma Etzioni spera che la comunità possa essere più consapevole della necessità di un compromesso. Gli investimenti in algoritmi più efficienti potrebbero aumentare la disponibilità di risorse e favorire il progresso. Non chiediamo un aut-aut, conclude Etzioni, ma: “vogliamo solo avere un migliore equilibrio nel settore”.
Immagine: Alexander Heinl/Picture-Alliance/DPA/AP Images
(rp)
