I ricercatori della Carnegie Mellon University hanno creato una nuova tecnica che insegna a una rete neurale a classificare i dati in più fasi, applicando etichette sempre più estese nel tempo.
di Karen Hao
La pratica standard per addestrare un algoritmo di apprendimento automatico è fornirgli tutti i dettagli contemporaneamente. Supponiamo che si stia costruendo un sistema di classificazione delle immagini per riconoscere diverse specie di animali. Vengono mostrati esempi delle diverse specie, contrassegnandole di conseguenza: “Pastore tedesco” e “barboncino” peri cani, per esempio.
Ma quando un genitore insegna a un bambino, l’approccio è completamente diverso. Iniziano con etichette molto più ampie: ogni specie di cane è inizialmente semplicemente “un cane”. Solo dopo che il bambino ha imparato a distinguere queste categorie generali il genitore entra in quelle più specifiche.
Traendo ispirazione da questo approccio genitoriale, i ricercatori della Carnegie Mellon University hanno prima sottoposto alla rete neurale i dati di allenamento con le etichette finali dettagliate. Hanno quindi calcolato la cosiddetta matrice di confusione, che mostra le categorie che il modello ha avuto maggiori difficoltà a distinguere.
Hanno quindi raggruppato queste categorie più complesse sotto un’etichetta unica da proporre nelle fasi iniziali, per poi suddividerla in sottocategorie più fini ad ogni iterazione.
Nei test con diversi insiemi di dati di classificazione di immagini popolari, l’approccio ha quasi sempre portato a un modello di apprendimento automatico finale che ha superato quello addestrato con il metodo convenzionale. Nel migliore dei casi, ha aumentato la precisione della classificazione fino al 7 per cento.
Mentre la tecnica adottata è nuova, l’idea alla base non lo è. La pratica di formare una rete neurale su livelli crescenti di difficoltà è conosciuta come “apprendimento curriculare” ed è in circolazione dagli anni 1990. Ma i precedenti tentativi si basavano sul proporre alla rete neurale un sottoinsieme diverso di dati in ogni fase, invece degli stessi dati con etichette diverse. Questa nuova tecnica è stato presentata la settimana scorsa dalla coautrice dello studio Otilia Stretcu alla International Conference of Learning Representations.
La stragrande maggioranza della ricerca sull’apprendimento profondo oggi sottolinea la dimensione dei modelli: se un sistema di classificazione delle immagini ha difficoltà a distinguere tra diversi oggetti, significa che non è stato addestrato su un numero sufficiente di esempi. Ma prendendo in prestito le idee dal modo in cui gli umani apprendono, i ricercatori hanno trovato questo sistema che ha permesso loro di ottenere risultati migliori con gli stessi dati di allenamento utilizzati in precedenza.
Immagine di: Tang Ming Tung / Getty
(rp)
