I ricercatori hanno lavorato con successo sulle dimensioni dei modelli di linguaggio per arrivare a creare delle versioni molto più limitate, da utilizzare nelle applicazioni commerciali.
di Karen Hao
Nell’ottobre dello scorso anno Google ha diffuso BERT, un modello avanzato per l’elaborazione del linguaggio naturale che ha superato un classico benchmark di comprensione della lettura utilizzato nel settore.
La versione più grande del modello aveva 340 milioni parametri di dati e una sola seduta di “addestramento” consumava l’elettricità necessaria a una famiglia americana per 50 giorni.
Quattro mesi dopo, OpenAI è andata oltre con il suo modello GPT-2, che ha dimostrato un talento impressionante nella scrittura di testi convincenti; GPT ha utilizzato 1,5 miliardi di parametri, contro gli attuali 8,3 di MegatronLM, l’ultimo e il più grande modello di Nvidia.
I ricercatori di AI sono sempre più preoccupati delle conseguenze di questa tendenza al rialzo. A giugno, un gruppo dell’Università del Massachusetts, ad Amherst, ha mostrato il bilancio climatico dello sviluppo e della formazione di modelli su così vasta scala.
L’addestramento di BERT, hanno calcolato i ricercatori, emetteva quasi la stessa quantità di carbonio di un volo di andata e ritorno tra New York e San Francisco; GPT-2 e MegatronLM, per estrapolazione, probabilmente emettono molto di più.
La tendenza potrebbe anche accelerare la concentrazione della ricerca sull’IA nelle mani di alcuni giganti della tecnologia. I laboratori con risorse insufficienti nel mondo accademico o nei paesi con meno risorse non hanno i mezzi per utilizzare o sviluppare tali modelli computazionali ad alto consumo.
In risposta, molti ricercatori sono concentrati sulla riduzione delle dimensioni dei modelli esistenti senza intaccarne le capacità. Due nuovi studi, presentati a un giorno di distanza uno dall’altro, hanno avanzato una proposta vincente per una versione più piccola di BERT, con 100 milioni di parametri.
Il primo studio, dei ricercatori di Huawei, propone un modello chiamato TinyBERT che è meno di un settimo delle dimensioni dell’originale e quasi 10 volte più veloce. Ha prestazioni simili a quelle dell’originale nella comprensione della lingua.
Il secondo, dei ricercatori di Google, ne avanza uno di dimensioni ancora più limitate, di un fattore superiore a 60, ma la sua comprensione del linguaggio non è all’altezza della versione Huawei.
Entrambi gli studi utilizzano varianti di una tecnica di compressione comune nota come “distillazione” della conoscenza, vale a dire l’utilizzo del modello esteso di intelligenza artificiale, il cosiddetto “insegnante”, per la formazione di un modello più essenziale, vale a dire lo “studente”.
Per fare ciò, si inseriscono gli stessi input in entrambi e poi si ottimizza di volta in volta lo studente fino a quando i suoi risultati corrispondono a quelli dell’insegnante.
Oltre a favorire l’accesso all’IA all’avanguardia, i modelli più piccoli aiuteranno a trasferire i recenti progressi dell’IA nei dispositivi di consumo, evitando la necessità di inviare i dati dei consumatori al cloud, e migliorando di conseguenza la velocità e il livello di privacy.
Per i modelli di linguaggio naturale, in particolare, la maggiore capacità di previsione testuale e la generazione di linguaggio più potente potrebbero migliorare una miriade di applicazioni come il completamento automatico sul telefono e gli assistenti vocali come Alexa e Google Assistant.
Immagine: Telefono con assistente vocale loquace Ms. Tech
(rp)
