Un’analisi aggiornata di OpenAI mostra quanto sia drammaticamente aumentata la necessità di risorse computazionali per raggiungere ogni nuova svolta nel settore dell’IA.
di Karen Hao
Nel 2018, OpenAI ha scoperto che la quantità di potenza computazionale utilizzata per addestrare i più grandi modelli di intelligenza artificiale era raddoppiata ogni 3,4 mesi dal 2012.
Il laboratorio di ricerca sull’intelligenza artificiale, con sede a San Francisco, ha ora aggiunto nuovi dati alla sua analisi. Questo mostra come il raddoppio successivo al 2012 si confronta con il tempo storico di raddoppio a partire dalla fasi iniziali di sviluppo del settore.
Dal 1959 al 2012, la quantità di energia richiesta è raddoppiata ogni due anni, in base alla Legge di Moore. Ciò significa che il tempo di raddoppio oggi è più di sette volte il tasso precedente.
Questo importante aumento delle risorse necessarie sottolinea quanto sia diventato economicamente impegnativo raggiungere un risultato nel campo. Si tenga presente che il grafico 1 mostra una scala logaritmica. Su una scala lineare (grafico 2), si può vedere più chiaramente come l’utilizzo del calcolo è aumentato di 300.000 volte negli ultimi sette anni.
Inoltre, il grafico 2 non include alcune delle scoperte più recenti, tra cui il modello di linguaggio su larga scala BERT di Google, il modello di linguaggio GPT-2 di OpenAI o AlphaStar, il modello di riproduzione di StarCraft II di DeepMind.
Nell’ultimo anno, sempre più ricercatori hanno lanciato l’allarme per l’esplosione dei costi del deep learning. A giugno, un’analisi dei ricercatori dell’Università del Massachusetts, ad Amherst, ha mostrato come questi crescenti costi di calcolo si traducano direttamente in emissioni di carbonio.
Nel loro articolo, hanno anche notato come l’aumento dei costi favorisse la privatizzazione della ricerca sull’IA perché mina la capacità dei laboratori accademici di competere con quelli privati, molto più ricchi di risorse.
In risposta a questa crescente preoccupazione, diversi gruppi industriali hanno formulato raccomandazioni. L’Allen Institute for Artificial Intelligence, una società di ricerca senza fini di lucro di Seattle, ha proposto ai ricercatori di pubblicare sempre i costi finanziari e computazionali della formazione dei loro modelli insieme ai risultati delle loro prestazioni.
Nel suo blog, OpenAI ha suggerito ai responsabili politici di aumentare i finanziamenti per i ricercatori accademici per colmare il divario di risorse tra i laboratori accademici e quelli privati del settore.
Immagine: Il giocatore di Go, Ke Jie, durante la sfida con Alpha Go, il programma di IA di Deepmind, nel 2017.AP
Immagine: Il giocatore di Go, Ke Jie, durante la sfida con Alpha Go, il programma di IA di Deepmind, nel 2017.AP
(rp)
