Oggi, con GPT-2, è possibile orientare i modelli linguistici senza lunghi periodi di formazione e generare testo coerente all’argomento proposto.
di Karen Hao
Negli ultimi due anni, il settore di IA che si occupa di elaborazione del linguaggio naturale ha visto enormi progressi. Per esempio, un modello linguistico sviluppato dal laboratorio di ricerca OpenAI di San Francisco, chiamato GPT-2, è stato utilizzato per generare fiction, articoli falsi e un gioco di testo sullo stile di Choose your own adventure.
Questi tipi di modelli sono essenzialmente enormi sistemi di predizione del testo che producono frasi sintatticamente valide, ma non significative. È difficile dire a un modello di attenersi, per esempio, a un argomento particolare come l’assistenza sanitaria. Tuttavia, modelli come GPT-2 possono essere utilizzati per produrre messaggi razzisti e che incitano all’odio.
I ricercatori di Uber AI hanno sviluppato un modo per guidare questi modelli linguistici, rendendo più facile per gli utenti specificare l’argomento o persino gli aspetti emotivi delle frasi che generano. Dato il prompt “La discussione ha riguardato”, per esempio, viene chiesto al modello di concentrarsi su questioni militari; il risultato potrebbe essere: “La discussione ha riguardato il fatto che il governo ha speso miliardi per i militari e che non può schierare le truppe in tempo”.
Se invece venisse loro detto di concentrarsi sulla politica, il risultato potrebbe essere più simile a questo:“ La discussione ha riguardato un singolo aspetto della legislazione. Non è chiaro se la commissione voterà per estendere la legge”.
Mentre il modello non capisce ancora il significato, la tecnica offre un maggiore controllo e avvicina l’utilizzo del linguaggio generato dall’intelligenza artificiale ad applicazioni più specifiche del dominio, come i chatbot di servizi sanitari o finanziari. Potrebbe anche essere usato per impedire ai modelli di favorire la produzione di materiali offensivi.
La tecnica utilizza due modelli statistici separati. Il primo è semplicemente il modello di linguaggio originale, come GPT-2, che costruisce frasi basate sulle probabilità che alcune parole appaiono accanto ad altre. Il secondo modello giudica in che misura l’output del primo modello mostra le caratteristiche desiderate, per esempio se si collega a un argomento definito o a un sentimento particolare.
Se la caratteristica è un argomento come lo spazio, il modello potrebbe valutare il risultato del primo modello in base a quante parole pertinenti contiene, come “pianeta”, “galassia” e “orbita”. Se la caratteristica è un sentimento come la positività, il modello di valutazione potrebbe essere addestrato per analizzare il contenuto emotivo delle sue parole.
Quando un prompt iniziale viene inserito nel primo modello, inizia il processo di previsione delle parole successive. Ma dopo ogni parola, si verifica la coerenza con il modello di valutazione e si arriva a un nuovo adattamento sulla base del feedback. L’ultima frase fa riferimento alla caratteristica desiderata, sempre mantenendo la scorrevolezza generale.
Il nuovo metodo è molto flessibile e può mettere insieme più obiettivi. Ha anche il vantaggio di essere efficiente dal punto di vista del calcolo. Altri metodi possono focalizzare l’output di un modello linguistico su argomenti o emozioni specifici, ma possono richiedere un lungo periodo di addestramento, con prezzi importanti da pagare sul piano ambientale e finanziario.
“Uno studente laureato come me ha risorse limitate”, afferma Sumanth Dathathri, che studia alla Caltech e ha scritto con altri il documento durante uno stage da Uber. Il nuovo metodo evita la trafila di passaggi, garantendo un maggiore controllo su qualsiasi modello già esistente.
Il team prevede che questa tecnica verrà utilizzata in molte diverse applicazioni, sia sistemi di dialogo, sistemi di traduzione o persino arte. Nel 2016 il laboratorio ha sviluppato un metodo simile per controllare la generazione di immagini invece del linguaggio. “C’erano molti artisti che lo usavano per produrre opere meravigliose”, ricorda Jason Yosinski, un membro fondatore di Uber AI che ha supervisionato il documento. “Ho potuto vedere molti altri artisti farlo con questo tecnica”.
Immagine: Ms. Tech
(rp)
