Come gli umani e molti animali, l’intelligenza artificiale spesso apprende nuove abilità attraverso il gioco, ma a differenza del mondo naturale è in grado di elaborare anni di allenamento in un solo giorno.
di Jennifer Strong
Dagli scacchi a Jeopardy agli e-sport, l’intelligenza artificiale si sta dimostrando vincente nella sfida agli umani nei giochi. Ma non è mai stato questo l’obiettivo finale. In questo episodio della terza stagione del podcast In Machines We Trust, viene approfondite la relazione simbiotica tra giochi e intelligenza artificiale, incontrando alcuni grandi esperti di giochi:
Julian Togelius, Professore Associato, Dipartimento di Informatica e Ingegneria, New York University
Will Douglas-Heaven, Senior Editor per l’AI, “MIT Technology Review”
Karen Hao, giornalista di “MIT Technology Review”
David Silver, responsabile scientifico di DeepMind, Professore dell’University College London
David Fahri, ricercatore capo di Open AI
Jennifer Strong: Sono una giornalista e in questo episodio del podcast, insieme ai miei colleghi, approfondiamo la relazione simbiotica tra giochi e intelligenza artificiale. Poichè da quando è nata la ricerca sull’intelligenza artificiale, i giochi ne hanno fatto parte, abbiamo deciso di incontrare alcuni grandi esperti di giochi.
Karen Hao: In un certo senso, i giochi hanno un po’ esagerato le capacità di intelligenza artificiale, perché molte persone ora credono che l’AI sia molto più avanti di quanto non sia in realtà. Siamo in qualche modo intrappolati in questo ciclo in cui la ricerca sull’intelligenza artificiale sta seguendo questo percorso di giochi sempre più avanzati senza in realtà affrontare situazioni e ambienti del mondo reale sempre più avanzati e complessi, che è ciò di cui abbiamo effettivamente bisogno.
Julian Togelius: I giochi fanno parte dell’AI da quando è nata l’idea stessa dell’AI. Lavoro in particolare con i videogiochi moderni perché con gli scacchi e Go è stato fatto già tutto. Ci sono tante altre possibilità, così tante sfide più interessanti negli altri giochi.
Strong: Come mai ha deciso di lavorare in questo settore?
Togelius: Quando mia madre ha dato via i miei gatti. Veramente! E’ diventata allergica. Per condolarmi mi ha regalato un computer precedente al Commodore 64 e ho iniziato a giocare, rimanendo in balia di questi micromondi. Poi ho iniziato a studiare filosofia e psicologia. Mi facevo domande del tipo: come funziona la mente? Qual è il rapporto tra coscienza e intelligenza?
Strong: Queste domande le hanno fatto conoscere un articolo dello scienziato informatico pionieristico Alan Turing che è stato il primo a dimostrare la possibilità matematica di costruire un computer.
Togelius: Quel documento riguarda principalmente i giochi. In particolare l’Imitation Game, chiamato normalmente Test di Turing, in cui si cerca di dire se qualcuno con cui si sta parlando tramite testo è un computer o un umano. Sono coinvolti anche gli scacchi, che sono diventati molto presto un fulcro della ricerca sull’intelligenza artificiale.
Strong: Si ritiene che le persone che giocano a scacchi abbiano un certo livello di intelligenza e quindi il gioco è diventato un modo per valutare quanto siano intelligenti anche le macchine. Il primissimo programma per giocare a scacchi è stato scritto prima ancora che esistesse un computer per eseguirlo. Turing l’ha ideato nel 1950, usando un algoritmo elaborato su carta. Non ha funzionato molto bene, ma le persone hanno continuato a portare avanti questa ricerca per decenni. E poi, nel 1997, il computer Deep Blue di IBM ha battuto Garry Kasparov, il campione mondiale in carica di scacchi.
Togelius: Si è trattato di un grande evento intellettuale. La gente ha pensato che fosse il trionfo dell’AI. E si scopre che non è così perché questo programma di gioco degli scacchi non poteva nemmeno giocare a dama senza una significativa riprogrammazione. E non poteva allacciarsi i lacci delle scarpe, non poteva cuocere i maccheroni. Non era in grado di scrivere una poesia d’amore. Sapeva letteralmente fare solo una cosa: giocare a scacchi. Era dannatamente brava, ma poteva davvero giocare solo a scacchi.
Strong: Gli scienziati avevano risolto quella che si credeva fosse la più grande sfida della creazione di intelligenza, ma in realtà era solo un livello specialistico di ricerca.
Togelius: Cosa succede se faccio questa mossa e il mio avversario ne fa un’altra? Abbiamo costruito un albero di possibilità e contro possibilità. In realtà era molto più complicato di così, ma questo era il cuore di ciò che si stava facendo. E la gente lo guardava come qualcosa del tutto diverso dal funzionamento del nostro cervello. Voglio dire, non sappiamo davvero come funziona il nostro cervello, ma qualunque cosa faccia è diversa da questa.
Strong: In realtà l’AI si manifesta nei giochi in tutti i modi. Soprattutto per renderli più interessanti e stimolanti. Per esempio, l’intelligenza artificiale cambia parti dei videogiochi in modo che siano diverse ogni volta che ci giochiamo, ed è stato così dagli anni 1980.
Togelius: Questo principio del creare sempre qualcosa di nuovo è sopravvissuto in molti giochi diversi. Per esempio, la serie di giochi Diablo si basa su questo, o la serie di giochi di strategia Civilization. Ogni volta che ci si gioca, si ha di fronte un mondo completamente nuovo. E’ il fulcro del gioco.
Strong: Un altro motivo per farlo è a causa dello spazio di archiviazione. Un gioco chiamato Elite è diventato una pietra miliare quando è stato reso disponibile per i personal computer, incluso il Commodore 64.
Togelius: Non potrebbe entrare nella memoria di questo computer. Una versione aveva 4.096 diversi sistemi stellari. Con soli 64.000 byte di memoria si aveva a disposizione un milionesimo dello spazio di un computer che si può comprare oggi. Quindi, hanno dovuto ricreare il sistema stellare ogni volta che si arrivava a un diverso stadio. Fondamentalmente significava costruirlo da zero.
Strong: Ed è ancora così adesso. Certo, abbiamo molto più spazio di archiviazione. Ma i giochi sono anche molto, molto più grandi e complessi.
Togelius: Il gioco No Man’s Sky, uscito nel 2016, viene continuamente aggiornato. Ha più pianeti di quanti se ne potrebbero mai visitare in una vita, ma in qualche modo si adatta tutti al computer dell’utente perché vengono ricreati ogni volta che appaiono.
Strong: Nel frattempo, i ricercatori hanno anche continuato a costruire giochi di intelligenza artificiale. Togelius dice che una delle prossime sfide in quello spazio sarà di giocare a molti giochi contemporaneamente perché il multitasking è qualcosa che gli umani fanno bene, ma non è ancora vero per questi sistemi. Quindi, come si arriva da questi ambienti altamente strutturati con molta prevedibilità a qualcosa di più vicino alla vita reale, che è disordinata, caotica e per nulla prevedibile?
Togelius: Se avessimo un sistema in grado di riprodurre in modo affidabile i primi cento giochi in cima alla lista dei computer game, come Steam o AppStore o qualcosa del genere, allora avremmo qualcosa di simile all’intelligenza generale.
Strong: Quindi, in un certo senso, siamo ancora al punto in cui eravamo mezzo secolo fa. Con l’idea di poter trovare la chiave dell’intelligenza generale con sistemi di intelligenza artificiale in grado di battere gli umani nel loro stesso gioco. Ma mescoliamo anche giochi e intelligenza artificiale in molti altri modi, per esempio per aiutarci con i dati di allenamento.
Alcuni anni fa ho incontrato un gruppo di ricercatori a Princeton che cercava di rendere i segnali di stop più riconoscibili per le auto a guida autonoma, usando il gioco Grand Theft Auto. Per quanto strano possa sembrare, in realtà è abbastanza pratico se si considera in quanti modi diversi un guidatore potrebbe imbattersi in un segnale di stop nel mondo reale. I ricercatori potrebbero andare alla ricerca di esempi di dove potrebbero essere i segnali di stop oppure i videogiochi possono generare esempi infiniti.
Will Douglas-Heaven: Frogger, un videogioco d’azione arcade introdotto nel 1981, è apparso abbastanza di recente in alcune ricerche sull’intelligenza artificiale in cui stavano cercando di convincere un’intelligenza artificiale a spiegare come stava facendo. In questo gioco si diventa una piccola rana che deve attraversare una strada, schivando le macchine che si muovono sullo schermo a sinistra e a destra. Superata questa prova, si arriva a un fiume e si salta sul dorso di tartarughe e tronchi per arrivare dall’altra parte senza cadere. Ci sono tante azioni ben definite che si devono compiere ad ogni passo. E così quando hanno addestrato l’intelligenza artificiale a farlo, ogni volta che è stata eseguita un’azione, hanno avuto modo di spiegare i passaggi vincenti in termini comprensibili per l’uomo.
Strong: Fondamentalmente, l’intelligenza artificiale si esercita con il gioco e nel tempo scopre come avere successo. Le mosse casuali si evolvono in strategie complesse che prima non conosceva.
Will Douglas-Heaven: Le AI si sono trovate davanti ai pixel degli schermi e non avevano idea di come giocare. Hanno provato e riprovato e alla fine lo hanno lentamente capito. E sono riuscite a battere i punteggi più alti dei migliori giocatori umani. Ci sono anche alcuni esempi davvero interessanti in cui hanno effettivamente trovato modi per superare le difficcoltà che gli umani non avevano scoperto.
Strong: Un esempio di questo viene da un gioco chiamato Q*Bert, un videogioco arcade del 1982, che mette i giocatori su una piramide di quadrati.
Will Douglas-Heaven: Voglio dire, l’idea di base è che hai questo piccoletto che salta giù dalla piramide dall’alto atterrando sui quadrati. E quando si è riusciti a far diventare tutti i quadrati dello stesso colore, si può passare al livello successivo. Ma l’AI, credo al primo livello, ha cambiato tutti i colori dei quadrati e poi ha continuato a saltare su e giù per i quadrati invece di passare al livello successivo. E ha trovato un bug nel gioco che gli ha permesso di ottenere un punteggio infinito in un breve lasso di tempo. E anche i progettisti del gioco dicevano: “Non ho mai visto quel bug prima”.
David Silver: Sono un esperto di intelligenza artificiale e la applico ai giochi. Lavoro per un’azienda chiamata DeepMind e il nostro obiettivo è provare a usare l’intelligenza artificiale per cercare di costruire un sistema che sviluppi alcune delle intelligenze che sono all’interno del cervello umano.
Strong: Silver è il ricercatore principale dietro alcuni dei più noti sistemi di intelligenza artificiale che hanno imparato a giocare, a partire dai giochi da tavolo (incluso l’antico gioco di strategia cinese di Go.) DeepMind è al centro di questo lavoro con i giochi. È un laboratorio di ricerca che fa parte di Google Alphabet.
David Silver: Se il cervello umano può risolvere tutti i tipi di compiti diversi, possiamo costruire programmi in grado di fare la stessa cosa? A DeepMind abbiamo sviluppato un sistema chiamato AlphaGo, che è stato il primo programma in grado di giocare a Go al livello dei migliori giocatori professionisti umani. E infatti, è stato in grado di battere il campione del mondo Lee Sedol.
Strong: AlphaGo ha imparato a giocare ai giochi da tavolo in base a come giocano le persone. Il sistema successivo di Silver, AlphaZero, ha imparato a giocare ai giochi da tavolo e ai videogiochi in un modo diverso, memorizzando le regole di un gioco e poi giocando più e più volte.
David Silver: Dopo AlphaGo, abbiamo cercato di fare il passo successivo e creare qualcosa di ancora più generale, ovvero essere in grado di giocare non solo a un gioco, ma a molti giochi utilizzando la stessa tecnologia. E questo è importante perché è davvero cercare di fare una delle cose che noi, in quanto persone, siamo in grado di fare, ovvero risolvere molti problemi, utilizzando gli stessi processi interni.
Strong: Si tratta di una tappa fondamentale nel raggiungere l’intelligenza artificiale generale, ma con un avvertimento importante. L’algoritmo non può imparare a giocare a questi giochi tutti in una volta. È come se si costruissero cervelli separati per ogni gioco. Si può dire che i ricercatori stanno ancora cercando di capire come rendere i giochi un test per la vita reale. Perché i giochi hanno regole che possono essere definite e nessuno conosce davvero le regole con cui funziona il mondo.
David Silver: Non possiamo sperare di affrontare l’incredibile complessità del mondo reale nel modo in cui le persone storicamente si sono avvicinate ai giochi. Quindi ciò di cui abbiamo bisogno è di modelli che siano utili per prendere decisioni effettivamente significative per aiutare a raggiungere gli obiettivi.
Strong: Il suo ultimo progetto si chiama MuZero. Eccelle in tanti giochi quanto AlphaZero (così come in tutta una serie di videogiochi), pur senza fornirgli alcuna regola.
David Silver: Partendo dal segnale di vittoria o sconfitta, è stato in grado di costruire una comprensione per sé delle regole del gioco tale da poter effettivamente immaginare cosa sarebbe successo nel futuro. Ha immaginato cosa sarebbe accaduto se una determinata mossa o azione. Questo è davvero un passo fondamentale per il futuro dell’AI.
Strong: Lei sostiene che non è dissimile da un bambino che fa i conti con il mondo che lo circonda, costruendo capacità di problem solving e soluzioni creative, nel tempo.
Davide Silver: Penso che stiamo già vedendo esempi in cui, all’interno di domini vincolati, algoritmi che sono a tutti gli effetti creativi. Voglio dire, cos’è la creatività se non la capacità di scoprire in autonomia una nuova idea. L’essenza della creatività è ciò che stanno facendo i nostri algoritmi, vale a dire imparare attraverso la loro esperienza che la nuova idea che hanno avuto è in realtà qualcosa di potente che li aiuta a raggiungere i loro obiettivi. Quindi penso che in futuro vedremo sempre più macchine autonome e creative.
Strong: Succede anche con gli e-sport, che sono competizioni di videogiochi che vengono spesso giocate di fronte a un pubblico dal vivo, in modo simile a un evento sportivo con un pubblico mondiale di quasi mezzo miliardo di spettatori che si sintonizzano per guardare il loro game preferito giocato da alcuni dei migliori player mondiali. Anche qui, l’intelligenza artificiale viene utilizzata come strumento di coaching per aiutare le persone a migliorare nel gioco.
David Farhi: Sono dell’idea che a un certo punto ci saranno sistemi di intelligenza artificiale generali che possono davvero risolvere i problemi rapidamente, possono imparare forse a livello degli umani.
Strong: David Farhi è ricercatore capo presso Open AI, il laboratorio di ricerca fondato da Elon Musk e da un gruppo di altri luminari della Silicon Valley. Ha creato il primo sistema per battere i campioni del mondo in Defense of the Ancients 2, un gioco di e-sport che tutti chiamano Dota 2.
David Farhi: Nel gioco, ogni squadra cerca di spostare i propri personaggi, lanciare incantesimi, attaccare i nemici e così via per invadere e distruggere alla fine la base dell’altra squadra.Questi sistemi più complicati come la robotica e i videogiochi hanno componenti diverse perché si osserva lo stato del gioco e si sceglie un’azione da intraprendere. La situazione cambia e si procede a un nuovo ciclo di osservazione-azione. E, lungo la strada, si arriva a prendere decisioni che hanno conseguenze a lungo termine. Quindi il modo di procedere è relativamente semplice. Almeno concettualmente. Abbiamo agenti che iniziano a giocare in modo totalmente casuale. E dobbiamo solo farli giocare contro se stessi, un clone di se stessi ancora e ancora e ancora.
Strong: Sembra un meccanismo che prende diverso tempo, ma la capacità di Open AI di eseguirlo su 200mila macchine contemporaneamente aiuta. In sostanza, è in grado di accumulare circa 250 anni di esperienza al giorno. Se il sistema fa qualcosa che funziona, viene aggiornato per farlo più spesso, se non funziona, lo fa di meno.
David Farhi: Abbiamo iniziato con una versione limitata del gioco. Alla fine siamo riusciti a battere il nostro team di sviluppatori, il che è stato molto divertente. E poi abbiamo aggiunto più pezzi del gioco. Siamo tornati indietro e ci siamo allenati più a lungo. E siamo stati in grado di battere alcuni dilettanti e poi alcuni umani semi-professionisti. Alla fine abbiamo deciso di partecipare a un grande torneo. Questo gioco ha ora milioni di utenti umani che competono in questi tornei per grandi premi, il che assicura che sappiamo che ci sono umani che giocano a un livello molto alto di abilità. Nell’agosto del 2018 abbiamo portato il nostro agente a questo torneo.
Strong: La vostra intelligenza artificiale ha giocato contro due squadre professionistiche che erano già state eliminate dal torneo e ha perso di poco. Ma l’anno successivo, con più allenamento, l’AI è riuscita a battere gli ex campioni del mondo 2-0.
David Farhi: OpenAI Five non prevede umani nel processo di addestramento, quindi gioca contro se stesso in questi server cloud ancora e ancora. Poi, se vogliamo che giochi contro un umano, prendiamo un’istantanea dal cloud e la giochiamo contro l’umano, ma non reimmettiamo mai quei dati nel processo di addestramento.
Strong: Ma rimane ancora aperta la domanda se i giochi possono aiutarci ad addestrare l’intelligenza artificiale a essere più utile. Potrebbe essere utile pensare al modo in cui i bambini giocano in un parco giochi.
Will Douglas-Heaven: Non stanno giocando a un gioco che ha regole vere e proprie. Voglio dire, possono inventarli man mano che vanno avanti, ma stanno solo esplorando, provando cose in un modo molto naturale e aperto. Non c’è un obiettivo preciso verso cui si muovono. E penso che sia questo tipo di tecnica, che è ancora una specie di gioco, che spingerà davvero le cose in avanti quando parliamo di intelligenza generale. Deepmind, per esempio, alcuni mesi fa ha rilasciato un parco giochi virtuale. È un po’ come un mondo di videogiochi chiamato X Land. Ed è popolato da un gruppo di piccoli robot.
La cosa bella è che X Land stesso è controllato da un’intelligenza artificiale o una specie di maestro di giochi che riorganizza l’ambiente, gli ostacoli, i blocchi e le palline con cui i piccoli robot possono giocare e trova al volo anche regole diverse. Quindi, giochi semplici come acchiapparella o nascondino, e i robot devono solo capire come giocarci. In questo modo apprendono abilità generali come esplorare, un passaggio che ritengo sarà la chiave per la prossima generazione di intelligenza artificiale. I giochi da soli non vanno da nessuna parte, ma sono sempre stati in stretto rapporto con l’intelligenza artificiale. E’ bello vedere che il gioco è ancora forse il miglior modo per imparare.
Immagine di: Ms Tech / Unsplash
(rp)
