I resoconti dei dipendenti di OpenAI, al di là di tutte le nobili dichiarazioni programmatiche dell’azienda, mostrano un ambiente di lavoro ossessionato dal mantenimento del segreto, dalla protezione dell’immagine e dall’attenzione esasperata ai vincoli di lealtà.
di Karen Hao
Ogni anno, i dipendenti di OpenAI votano quando credono che si imporrà l’intelligenza artificiale “forte”, o AGI. Le loro stime differiscono ampiamente. Ma in un settore che continua a discutere se siano persino possibili sistemi autonomi simili all’uomo, metà del laboratorio di ricerca scommette che probabilmente accadrà entro 15 anni.
Nei quattro brevi anni della sua esistenza, OpenAI è diventato uno dei principali centri di ricerca di IA nel mondo. Si è fatto un nome accanto ad altri pesi massimi dell’intelligenza artificiale come DeepMind di Alphabet e tra i suoi fondatori appaiono nomi leggendari della Silicon Valley, come Elon Musk e Sam Altman.
Il suo obiettivo è quello di essere il primo a creare un’AGI, vale a dire una macchina con i poteri di apprendimento e ragionamento di una mente umana. Lo scopo non è il dominio del mondo, ma una tecnologia sicura che distribuisca i suoi benefici uniformemente nel mondo.
Il problema è che questo progetto potrebbe venir meno se lo sviluppo della tecnologia non viene seguito con costanza. L’intelligenza ristretta, il tipo di intelligenza artificiale goffa che ci circonda, ne costituisce un buon esempio. Oggi sappiamo che gli algoritmi sono distorti e fragili; possono perpetrare abusi e inganni; sono nelle mani di pochi a causa degli alti costi per il loro sviluppo. In poche parole, l’AGI potrebbe essere catastrofica senza una attenta supervisione.
OpenAI vorrebbe esercitare questo tipo di controllo e ha accuratamente elaborato la sua immagine per avere le carte in regola. In un settore dominato da aziende ricche, si è presentato come un’organizzazione non profit che vuole “costruire valore per tutti e non solo per gli azionisti”. La sua carta d’intenti – un documento così sacro che la retribuzione dei dipendenti è legata al suo rispetto – dichiara che il “dovere primario di OpenAI è nei confronti dell’umanità”.
Raggiungere l’AGI garantendo la sicurezza è talmente importante, continua il documento, che se un’altra organizzazione raggiungesse per prima l’obiettivo, OpenAI smetterebbe di competere con essa e collaborerebbe. Questa “narrazione” ha un impatto positivo con gli investitori e i media e a luglio Microsoft ha investito nel laboratorio un miliardo di dollari.
Ma tre giorni nell’ufficio di OpenAI – e decine di interviste con dipendenti, collaboratori, amici e altri esperti del settore passati e attuali – suggeriscono un quadro diverso. C’è un disallineamento tra ciò che l’azienda sposa pubblicamente e il modo in cui opera a porte chiuse. Nel tempo, un’accesa competitività e una crescente pressione per ottenere finanziamenti hanno eroso i suoi ideali fondanti di trasparenza, apertura e collaborazione.
Molti di coloro che lavorano o hanno lavorato per l’azienda hanno insistito sull’anonimato perché non erano autorizzati a parlare o temevano ritorsioni. I loro resoconti suggeriscono che OpenAI, nonostante tutte le sue nobili aspirazioni, è ossessionato dal mantenimento del segreto, dalla protezione della sua immagine e dalla lealtà dei suoi dipendenti.
Fin dall’inizio, il settore dell’IA ha cercato di comprendere l’intelligenza umana e quindi di ricrearla. Nel 1950, Alan Turing, il noto matematico e scienziato informatico inglese, scrisse un articolo scientifico in cui si chiedeva: “Le macchine possono pensare?”. Sei anni dopo, in risposta a questa “provocazione”, un gruppo di scienziati si riunì al Dartmouth College per formalizzare la disciplina.
“È una delle domande fondamentali di tutta la storia del pensiero”, afferma Oren Etzioni, CEO dell’Allen Institute for Artificial Intelligence (AI2), un laboratorio di ricerca dio IA senza scopo di lucro con sede a Seattle. “Ha lo stesso valore di domande del tipo: Qual è l’origine dell’universo? Cosa è la materia?”.
Il problema è che l’AGI è sempre rimasta vaga. Nessuno è in grado di descrivere esattamente cosa è. Non è ovvio, per esempio, che esista un solo tipo di intelligenza generale; l’intelligenza umana potrebbe essere solo un sottoinsieme. Ci sono anche opinioni divergenti sull’utilità dell’AGI. Dal punto di vista ideale, un’intelligenza artificiale non ostacolata dai tempi o dall’inefficienza della comunicazione umana potrebbe aiutare a risolvere sfide complesse come i cambiamenti climatici, la povertà e la fame.
Non c’è accordo all’interno del settore
L’unico punto su cui tutti concordano è che tali capacità avanzate non sono dietro l’angolo, ammesso che sia possibile svilupparle. Molti temono anche che il perseguimento di questo obiettivo in modo esasperato possa avere degli effetti negativi. Negli anni 1970 e di nuovo tra la fine degli anni 1980 e l’inizio degli anni 1990, il settore di ricerca ha fatto troppe promesse e ha ricevuto pochi finanziamenti.
In questo contesto, OpenAI si è tuffato all’improvviso in questo mondo l’11 dicembre del 2015. Non è stato il primo a dichiarare apertamente che stava perseguendo l’AGI; DeepMind lo aveva fatto già da cinque anni ed era stata acquisita da Google nel 2014. Ma OpenAI sembrava diverso.
Per prima cosa, il prezzo di partenza è stato scioccante: 1 miliardo di dollari da investitori privati, tra cui Musk, Altman e Peter Thiel, il cofondatore di PayPal. Il parterre di investitori ha suscitato una frenesia mediatica, così come l’impressionante staff iniziale: Greg Brockman, che aveva gestito la tecnologia per l’azienda di pagamenti Stripe, come responsabile della tecnologia; Ilya Sutskever, che aveva studiato con il pioniere dell’IA Geoffrey Hinton, direttore della ricerca; sette ricercatori, appena laureati presso le migliori università o aziende, per il team tecnico di base (Lo scorso febbraio, Musk ha annunciato che si stava separando dall’azienda per disaccordi sulla linea di sviluppo. Un mese dopo, Altman si è dimesso da presidente dell’acceleratore di startup Y Combinator per diventare CEO di OpenAI).
Ma più di ogni altra cosa, ha colpito una dichiarazione di OpenAI: “Sarà importante privilegiare l’interesse di tutti sul tornaconto personale. I ricercatori saranno incoraggiati a pubblicare il loro lavoro e i nostri brevetti (se presenti) saranno condivisi con il mondo”. Anche se non esplicite, le critiche agli altri centri di ricerca erano chiare: come nel caso di DeepMind, non potevano servire l’umanità perché erano vincolati da interessi commerciali.
In un panorama di ricerca che era diventato sempre più privatizzato e focalizzato su guadagni finanziari a breve termine, OpenAI stava offrendo una visione alternativa. “È stato un faro di speranza”, afferma Chip Huyen, un esperto di apprendimento automatico che ha seguito da vicino il percorso del laboratorio.
All’incrocio tra la 18esima e Folsom Streets a San Francisco, l’ufficio di OpenAI sembra un magazzino circondato dal mistero. L’edificio storico ha pannelli grigio scuro e finestre colorate, con la maggior parte delle imposte abbassate. Le lettere “PIONEER BUILDING” – quello che rimane del suo vecchio proprietario, la Pioneer Truck Factory – avvolgono l’angolo con una vernice rossa sbiadita.
All’interno, lo spazio è luminoso e arioso. Il primo piano ha alcuni spazi comuni e due sale conferenze. La prima, A Space Odyssey, è per le riunione allargate, la seconda, Infinite Jest, è poco più grande di un phone boot. La mia visita si è limitata a questo primo piano in quanto mi è stato proibito di salire al secondo e terzo piano, che ospitano gli uffici, diversi robot e praticamente tutto ciò che è interessante. Quando è il momento delle loro interviste, le persone vengono da me.
Quando arrivo per incontrare Brockman, ho l’impressione che sia nervoso e si senta sorvegliato. “Non abbiamo mai concesso a qualcuno di accedere all’interno”, mi dice con un sorriso incerto. E’ vestito in modo informale e, come molti di OpenAI, sfoggia un taglio informe che sembra riflettere un senso di efficienza.
L’incontro con Brockman
Brockman, 31 anni, è cresciuto in una fattoria nel Dakota del Nord e ha avuto quella che lui definisce una “infanzia tranquilla”. Mungeva le mucche, raccoglieva le uova e nel frattempo si è innamorato della matematica che studiava da solo. Nel 2008, è entrato in Harvard con l’intenzione di conseguire una doppia laurea in matematica e informatica, ma ha abbandonato un anno dopo. Ha frequentato il MIT, e poi ha abbandonato di nuovo nel giro di pochi mesi. La seconda volta, la sua decisione è stata definitiva. Da quando è venuto a San Francisco, non si è più guardato indietro.
Brockman mi porta a pranzo fuori per lasciare libero l’ufficio di ospitare una riunione aziendale. Nel caffè dall’altra parte della strada, abbiamo iniziato a parlare di OpenAI con intensità, sincerità e meraviglia, spesso disegnando parallelismi tra la sua missione e i passaggi fondamentali nella storia della scienza. È facile apprezzare il suo carisma come leader.
Si concentra sulla narrativa preferita della Silicon Valley, la corsa americana alla Luna, racconta episodi della Prima Ferrovia Transcontinentale, si sofferma sul paradosso del brevetto della lampadina a incandescenza di Thomas Edison, che gli esperti avevano assicurato non avrebbe mai potuto funzionare.
Brockman è consapevole della scommessa che OpenAI ha intrapreso e sa che per portarla avanti sono necessari cinismo e controllo. Il suo messaggio è chiaro: le persone possono essere scettiche quanto vogliono. È il prezzo di osare molto. Coloro che si sono uniti a OpenAI dai primi giorni ricordano l’energia, l’eccitazione e il senso della missione da portare avanti. La squadra era piccola, formata da una fitta rete di connessioni, e la direzione libera e informale. Tutti credevano in una struttura non gerarchica in cui il confronto di idee sarebbe stato ben accetto da tutti.
Musk ha avuto un ruolo non secondario nella costruzione di una mitologia collettiva. Sa come mi ha parlato del progetto la prima volta?”, ricorda Pieter Abbeel, un professore della UC Berkeley che ha lavorato lì, insieme a diversi suoi studenti, nei primi due anni: “L’AGI potrebbe essere lontana, ma se non lo fosse? E se ancheci fosse solo l’1 per cento o lo 0,1 per cento di probabilità che ciò accada nei prossimi 5-10 anni? Non le sembra il caso di pensarci molto attentamente?”.
Ma l’informalità ha anche portato ad una certa vaghezza nella direzione da seguire. Nel maggio del 2016, Altman e Brockman hanno ricevuto una visita da Dario Amodei, allora ricercatore di Google, che ha detto loro che nessuno capiva cosa stavano facendo. In un resoconto pubblicato sul “New Yorker”, non era nemmeno chiaro se lo stesso team lo sapesse. “Il nostro obiettivo in questo momento … è fare la cosa migliore che ci sia da fare”, sosteneva Brockman. “In effetti, è un po’ vago”.
Tuttavia, Amodei si unì alla squadra qualche mese dopo. Sua sorella, Daniela Amodei, aveva precedentemente lavorato con Brockman e conosceva già molti collaboratori di OpenAI. Dopo due anni, su richiesta di Brockman, anche Daniela entrò a far parte del gruppo”. A marzo del 2017, la dirigenza ha capito che era tempo di fare il punto della situazione. Così Brockman e alcuni altri membri chiave iniziarono a redigere un documento interno per tracciare un percorso verso l’AGI.
Ma ci si rese subito conto di un problema serio. Per studiare cosa accadeva nel settore di ricerca, erano necessari finanziamenti consistenti. Le risorse computazionali di altri operatori del settore per ottenere risultati rivoluzionari raddoppiavano ogni 3,4 mesi. Era chiaro che “per rimanere competitivi”, afferma Brockman, serviva un capitale simile o superiore per eguagliare o superare questa espansione esponenziale. Si imponeva, quindi, un nuovo modello organizzativo in grado di accumulare rapidamente denaro, rimanendo in qualche modo fedele alla missione.
All’insaputa del pubblico – e della maggior parte dei dipendenti – è stato con questo in mente che OpenAI ha pubblicato la sua carta d’intenti nell’aprile del 2018. Il documento ha articolato nuovamente i valori fondamentali del laboratorio, ma ha modificato il linguaggio per riflettere la nuova realtà. Oltre al suo impegno di “non favorire l’uso di AI o AGI contrarie agli interessi dell’umanità o non condivise”, ha anche sottolineato la necessità di risorse. “Prevediamo la necessità di mobilitare risorse sostanziali per adempiere alla nostra missione”, vi si afferma, “ma agiremo sempre diligentemente per ridurre al minimo i conflitti di interesse tra i nostri dipendenti e le parti interessate che potrebbero compromettere un vantaggio più generale per l’azienda”.
“Abbiamo trascorso molto tempo a confrontarci internamente con i dipendenti per far sì che l’intera azienda seguisse una serie di principi”, afferma Brockman. “Questo dato di fondo doveva rimanere invariato anche cambiando la nostra struttura”.
La svolta risale all’anno scorso
Tale cambiamento è avvenuto a marzo del 2019. OpenAI ha perso il suo status di organizzazione no profit istituendo un braccio di “profitto limitato”, un profitto a fini di lucro con un limite di 100 volte sui rendimenti degli investitori. Poco dopo, ha annunciato l’investimento di un miliardo di dollari da parte di Microsoft (anche se non ha rivelato che questo era diviso tra contanti e crediti in Azure, la piattaforma di cloud computing di Microsoft).
Com’era prevedibile, la mossa ha scatenato un’ondata di accuse secondo cui OpenAI avrebbe ripensato la sua missione. In un post su “Hacker News”, subito dopo l’annuncio, un utente ha chiesto in che modo un limite di 100 volte si sarebbe potuto definire tale: “I primi investitori in Google hanno ricevuto un rendimento di circa 20 volte il loro capitale. Voi dite di essere una struttura aziendale che restituisce ordini di grandezza più di Google … ma come può succedere senza concentrare indebitamente il potere? Come funzionerà? Cos’è esattamente il potere, se non la concentrazione delle risorse?”.
La mossa ha sconvolto anche molti dipendenti, che hanno espresso preoccupazioni simili. Per ristabilire la tranquillità, la dirigenza ha redatto una FAQ come parte di una serie di documenti di transizione altamente protetti. “Posso fidarmi di OpenAI?” recitava una domanda. “Sì”, era la risposta, seguita da un paragrafo di spiegazioni.
Il documento rappresenta la spina dorsale di OpenAI. Serve da trampolino di lancio per tutte le strategie del laboratorio. Durante tutto il nostro pranzo, Brockman lo cita come un libro sacro, una spiegazione per ogni aspetto dell’esistenza con relative domande e risposte: Come si garantisce che gli umani continuino ad avere libertà di scelta mentre si sviluppano capacità più avanzate? “Come abbiamo scritto, pensiamo che si dovrebbe riconoscere a tutti la libertà economica, per far loro trovare nuove opportunità che non sono immaginabili oggi”.
Che tipo di struttura è necessaria per distribuire uniformemente AGI? “Penso che il servizio pubblico sia lo strumento migliore. Ma, ancora una volta, è tutto scritto nel documento”. Come muoversi per raggiungere per primi l’AGI senza compromettere la sicurezza? “Penso che una politica equilibrata sia quella suggerita nella carta d’intenti”.
Per Brockman, la rigida aderenza al documento è ciò che fa funzionare la struttura di OpenAI. L’allineamento interno è considerato fondamentale: tutti i dipendenti a tempo pieno devono collaborare tra loro, con poche eccezioni. Per chi prende le decisioni, in particolare Jack Clark, il direttore, questo significa una vita divisa tra San Francisco e Washington, DC. A Clark non importa, perché condivide questa mentalità. Sono i momenti di passaggio, come l’ora di pranzo con i colleghi ,egli dice, che aiutano a mantenere l’equilibrio.
L’approccio funziona chiaramente: i dipendenti lavorano per molte ore e parlano incessantemente del loro lavoro durante i pasti e le attività sociali; frequentano gli stessi posti e sottoscrivono la filosofia razionale dell’“altruismo efficace”. Giocano con le parole usando il linguaggio dell’apprendimento automatico per parlare delle loro vite: “Si vive in funzione di?”, “Stai ottimizzando il tuo comportamento?” “Il tuo problema è il minimo tra i massimi”.
Ad essere sinceri, anche altri ricercatori dell’IA adorano farlo, ma le persone che hanno familiarità con OpenAI sono d’accordo: più di altri nel settore, i suoi dipendenti trattano la ricerca dell’IA non come un lavoro, ma come un sistema identitario (A novembre, Brockman si è sposato nell’ufficio con uno sfondo di fiori disposti su un logo OpenAI. Sutskever fungeva da officiante; una mano di robot ha portato l’anello).
A metà dello scorso anno, però, la carta d’intenti è diventata molto più di un semplice argomento di conversazione all’ora di pranzo. Subito dopo il passaggio a un profitto “limitato”, la direzione ha istituito una nuova struttura retributiva basata in parte sul rispetto della missione stabilita nel documento da parte di ciascun dipendente. Accanto alla “competenza ingegneristica” e alla “gestione della ricerca” è apparsa una colonna con alcuni livelli.
Livello 3: “Comprende e interiorizza la carta OpenAI”.
Livello 5: “Si assicura che tutti i progetti su cui lavora da solo o in team siano coerenti con la carta”.
Livello 7: “Sostiene e offre suggerimenti per migliorare la carta e chiede agli altri di fare lo stesso”.
Il GPT-2
La prima volta che la maggior parte delle persone ha mai sentito parlare di OpenAI è stato il 14 febbraio del 2019. Quel giorno, il laboratorio ha annunciato una nuova ricerca, un modello per generare saggi e articoli convincenti con la semplice pressione di un pulsante. Gli si sottopone una frase da Il Signore degli Anelli o l’inizio di una (falsa) storia di notizie sul taccheggio di Miley Cyrus, e sputa paragrafo dopo paragrafo di testo coerente con lo spunto fornito.
I ricercatori hanno sostenuto che il modello, chiamato GPT-2, risultava troppo pericoloso per essere diffuso. Se una tecnologia così potente cadesse nelle mani sbagliate, potrebbe facilmente essere utilizzata per produrre disinformazione su vasta scala.
Il contraccolpo tra gli scienziati è stato immediato. Alcuni hanno detto che OpenAI stava facendo una mossa pubblicitaria. GPT-2 non era abbastanza avanzato per rappresentare una minaccia. E se lo fosse stata, perché annunciarne l’esistenza e quindi precludere il controllo pubblico? “Sembrava che OpenAI stesse cercando di sfruttare il panico attorno all’intelligenza artificiale”, afferma Britt Paris, ricercatore dell’università di Rutgers che studia la disinformazione generata dall’intelligenza artificiale.
A maggio, OpenAI aveva rivisto la sua posizione e annunciato piani per la diffusione del programma. Nei mesi seguenti, ha fornito versioni sempre più potenti di GPT-2. Nel frattempo, ha anche collaborato con diverse organizzazioni di ricerca per esaminare il potenziale abuso dell’algoritmo e sviluppare contromisure. Alla fine, ha rilasciato il codice completo a novembre, non avendo riscontrato “nessuna prova evidente di uso illecito”.
Tra le continue accuse di ricerca di pubblicità, OpenAI ha insistito sul fatto che GPT-2 è un esperimento attentamente studiato, concordato dopo una serie di discussioni e dibattiti interni. L’idea era che, anche se questa volta si fosse andati un po’ oltre, l’iniziativa avrebbe costituito un precedente per gestire ricerche più ardite. Inoltre, lo statuto aveva previsto che “problemi di sicurezza” avrebbero gradualmente obbligato il laboratorio a “ridurre la nostra tradizionale attività di diffusione in futuro”.
Questo è stato anche l’argomento che il team di politiche industriali ha esposto con attenzione nel post semestrale, di cui hanno discusso nella riunione alla quale ho partecipato.
“Penso che sia un elemento essenziale delle storie di successo”, ha dichiarato Miles Brundage, esperto di relazioni, mettendo in evidenza una parte di un documento di Google. “Abbiamo fatto una mossa ambiziosa, ora alcune persone la stanno replicando, e in questo documento ci sono alcuni motivi per cui questa operazione è stata utile”.
Ma anche la campagna mediatica di OpenAI con GPT-2 ha seguito uno schema ben consolidato che ha reso diffidente il resto della comunità AI. Nel corso degli anni, i grandi e chiari annunci di ricerca del laboratorio sono stati ripetutamente accusati di alimentare il ciclo di pubblicità dell’IA. Più di una volta, i critici hanno anche accusato il laboratorio di comunicare i suoi risultati in modo tale da distorcerli. Per questi motivi, molti nel settore hanno mantenuto OpenAI a debita distanza.
Ciò non ha impedito al laboratorio di continuare a investire risorse per sostenere la sua immagine pubblica. Invece di articoli, pubblica i suoi risultati in post di blog aziendali di ottimo livello. I passaggi editoriali sono interni, dalla scrittura alla produzione multimediale alla progettazione delle immagini di copertina per ogni uscita.
Ad un certo punto, ha iniziato a produrre un documentario su uno dei suoi progetti in concorrenza con un film di 90 minuti su AlphaGo di DeepMind. Brockman e sua moglie, Anna, stanno ora parzialmente finanziando questa produzione indipendente (Ho anche accettato di apparire nel documentario per fornire spiegazioni tecniche sui risultati di OpenAI. Non ho ricevuto alcun compenso).
I dipendenti si sono frustrati per le continue critiche esterne e la leadership teme che le discussioni mineranno l’influenza e la capacità del laboratorio di assumere i migliori talenti.
Un documento interno evidenzia questo problema e suggerisce una strategia di sensibilizzazione per affrontarlo: “Per avere un’influenza politica a livello di governo, dobbiamo essere considerati la fonte più affidabile della ricerca sul machine learning (ML) e l’AGI”, si afferma sotto la voce “Politica”. “L’ampio supporto e il sostegno da parte della comunità di ricerca non è solo necessario per ottenere tale reputazione, ma amplificare il nostro messaggio”. Un’ altra voce, “Strategia”, recita: “Considera la comunità ML come un stakeholder delle comunicazioni”.
GPT-2 ha innescato una reazione decisa anche per un’altra ragione. La gente pensava che OpenAI stesse tornando indietro rispetto alle sue precedenti promesse di apertura e trasparenza. Dopo la notizia della accettazione di una logica di profitto, la ricerca “negata” ha reso le persone ancora più sospettose. Forse la tecnologia veniva nascosta in attesa di una licenza futura?
Non tutto viene fatto alla luce del sole
Ma la gente non sapeva che non si trattava dell’unica volta che OpenAI aveva scelto di nascondere una ricerca. In effetti, ne aveva tenuta un’altra del tutto segreta. Secondo
la comunità tecnologica, esistono due vie per raggiungere l’AGI. In una, sono presenti già tutte le tecnologie necessarie; si tratta solo di capire come ridimensionarle e assemblarle. Nell’altra, si deve fare affidamento a un paradigma completamente nuovo: una forma di apprendimento profondo rivista rispetto all’attuale tecnologia dominante nell’intelligenza artificiale.
La maggior parte dei ricercatori si colloca tra questi due estremi, ma OpenAI si è costantemente arroccata su una delle estremità dello spettro. La maggior parte delle sue scoperte sono state il prodotto della messa in campo di risorse di calcolo notevolmente maggiori rispetto alle innovazioni tecnologiche sviluppate in altri laboratori.
Brockman e Sutskever negano che questa sia la loro unica strategia, ma la ricerca controllata del laboratorio suggerisce il contrario. Un team chiamato “Foresight” esegue esperimenti per testare fino a che punto si possono spingere in avanti le capacità di intelligenza artificiale addestrando algoritmi esistenti con quantità sempre maggiori di dati e potenza di elaborazione. Per i responsabili del gruppo, i risultati di questi esperimenti hanno confermato che la strategia basata sul calcolo del laboratorio sia l’approccio migliore.
Per circa sei mesi, questi risultati sono stati nascosti al pubblico perché OpenAI vede questa conoscenza come il suo principale vantaggio competitivo. Dipendenti e stagisti sono stati esplicitamente istruiti a non rivelarli e quelli che hanno abbandonato l’azienda hanno firmato accordi di non divulgazione.
E’ stato solo a gennaio che il team, senza la solita fanfara, ha pubblicato un articolo scientifico su uno dei principali database open source per la ricerca sull’IA. Chi aveva contribuito allo studio non ha capito il perchè di questo cambiamento. Inoltre, un mese prima era stato pubblicato un altro documento con risultati simili di diversi ricercatori.
All’inizio, questo livello di segretezza non era abituale, ma da allora è diventato la norma. Nel corso del tempo, la leadership aziendale si è allontanata dalla sua convinzione originale che l’apertura fosse il modo migliore per costruire un’AGI vantaggiosa per tutti. Oggi è impossibile parlare con i giornalisti senza l’espressa autorizzazione del team di comunicazione.
Dopo le mie prime visite in ufficio, quando ho iniziato a contattare diversi dipendenti, ho ricevuto un’e-mail dal responsabile delle comunicazioni che mi ricordava che tutte le richieste di intervista dovevano passare attraverso la sua approvazione. Quando ho rifiutato, dicendo che ciò avrebbe minato la validità di ciò che la gente mi avrebbe detto, ha incaricato i dipendenti di tenerla informata di come operavo.
In una dichiarazione in linea con questa politica dell’azienda, un portavoce di OpenAI ha fatto riferimento a una sezione della sua carta d’intenti. “Ci aspettiamo che problemi di sicurezza ridurranno le nostre pubblicazioni tradizionale in futuro”, è scritto nel documento, “aumentando l’importanza della condivisione della ricerca in materia di sicurezza, politica e standard”. Il portavoce ha anche aggiunto: “Inoltre, ciascuno dei nostri prodotti è sottoposto a una attenta valutazione per comprendere i potenziali rischi della sua diffusione”.
Uno dei segreti più grandi è il progetto su cui OpenAI sta lavorando. Le fonti lo hanno descritto come il punto d’arrivo dei suoi precedenti quattro anni di ricerca: un sistema di intelligenza artificiale addestrato su immagini, testo e altri dati che sfrutta enormi risorse di calcolo. Una piccola squadra è stata assegnata al tentativo iniziale, in attesa di sviluppi. Il giorno in cui è stato annunciato il progetto, gli stagisti non sono stati autorizzati a partecipare. Le persone che hanno familiarità con il piano offrono una spiegazione: la leadership pensa che questo sia il modo più promettente per raggiungere l’AGI.
Il ruolo di Amodei
Il responsabile della strategia di OpenAI è Dario Amodei, un ex di Google, che ora ricopre il ruolo di direttore della ricerca. Quando lo incontro, mi sembra da subito una versione più ansiosa di Brockman. Ha una sincerità e una sensibilità simili, ma trasmette una corrente di energia nervosa. Appare distante quando parla, spesso con le sopracciglia corrugate e una mano che scorre distrattamente tra i suoi ricci.
Amodei divide la strategia del laboratorio in due parti. La prima, che determina come intende raggiungere capacità di intelligenza artificiale avanzate, è paragonabile al “portafoglio di scommesse” di un investitore. Diverse squadre di OpenAI stanno giocando scommesse diverse. Il team linguistico, per esempio, ha investito su una teoria che postula che l’IA può sviluppare una comprensione significativa del mondo attraverso il semplice apprendimento delle lingue.
Il team di robotica, al contrario, sta avanzando una teoria opposta secondo cui l’intelligenza richiede una struttura fisica per svilupparsi. Come nel portafoglio di un investitore, non tutte le scommesse hanno lo stesso peso. Ma ai fini del rigore scientifico, tutte le ipotesi dovrebbero essere testate prima di essere scartate.
Amodei indica GPT-2, con i suoi testi generati automaticamente notevolmente realistici, come esempio del perché è importante mantenere una visione aperta. “Il linguaggio ‘puro’ è un obiettivo considerato difficilmente raggiungibile nel settore di ricerca e forse anche da alcuni di noi”, egli afferma. “Ma ora le prospettive sono cambiate”.
Lo scopo finale è che i team si muovano in un’unica direzione per arrivare ad AGI. L’ultimo progetto top-secret di OpenAI dovrebbe essere a questo punto di sviluppo.
La seconda parte della strategia, spiega Amodei, si concentra su come rendere sicuri tali sistemi di IA in costante evoluzione. Ciò include la riflessione sui valori umani, la spiegazione della logica alla base delle decisioni e l’apprendimento positivo. I team dedicati a ciascuno di questi obiettivi di sicurezza cercano di sviluppare metodi che possano essere applicati a tutti i progetti in via di maturazione. Le tecniche sviluppate dal team che si preoccupa della comprensibilità dei risultati da parte degli esperti umani, per esempio, possono essere utilizzate per esporre la logica dietro le costruzioni di frasi di GPT-2 o i movimenti di un robot.
Amodei ammette che questa parte della strategia è meno strutturata, in quanto non si affida del tutto a teorie consolidate sul campo, ma lascia spazio alle intuizioni. “Ad un certo punto costruiremo AGI, e allora voglio sentirmi in pace con il modo in cui questi sistemi operano nel mondo”, egli afferma. “Qualunque cosa mi crei una sensazione di malessere, indago per andare a fondo del problema”.
Malgrado tutta la ricerca di pubblicità e la segretezza, Amodei sembra sincero quando lo dice. La possibilità di fallimento sembra disturbarlo profondamente. “Siamo nella posizione scomoda di non sapere che aspetto abbia l’AGI”, continua Amodei con una riflessione più generale. “Le nostri menti sono limitate. La risposta migliore a questa carenza è assumere numerosi ricercatori che avrebbero potuto avanzare visioni differenti da quelle a cui avrei potuto pensare. Voglio questo tipo di diversità perché è l’unico modo per comprendere il mondo”.
Il fatto è che OpenAI ha in realtà poca “diversità”, come ho potuto verificare durante il mio terzo giorno in ufficio. Durante il pranzo mi è stato concesso di intrattenermi con i dipendenti; mi sono seduto al tavolo che sembrava il più eterogeneo. Meno di un minuto dopo, mi sono reso conto che le persone che mangiavano lì non erano, in effetti, dipendenti di OpenAI. Infatti Neuralink, la startup di Musk che lavora sulle interfacce cervello-computer, condivide lo stesso edificio e la stessa sala da pranzo.
Secondo una portavoce del laboratorio, degli oltre 120 dipendenti, il 25 per cento è rappresentato da donne o da persone che fanno riferimento a un genere non binario. Ci sono anche due donne nel gruppo dirigente che è composto per il 30 per cento da donne, ha detto la portavoce, anche se non ha specificato chi è stato conteggiato tra queste squadre (Tutti e quattro i dirigenti della C-suite, tra cui Brockman e Altman, sono uomini bianchi. Su oltre 112 dipendenti che ho trovato su LinkedIn e altre fonti, la maggioranza schiacciante era bianca o asiatica).
In tutta onestà, questa mancanza di diversità è tipica dell’IA. L’anno scorso un rapporto dell’istituto di ricerca con sede a New York, AI Now, ha scoperto che le donne rappresentavano solo il 18 per cento degli autori presenti nelle principali conferenze AI, il 20 per cento dei professori di intelligenza artificiale e rispettivamente il 15 e il 10 per cento del personale di ricerca di Facebook e Google.
“C’è ancora molto lavoro da fare in tutto il mondo accademico e industriale”, ha detto il portavoce di OpenAI. “La diversità e l’inclusione sono qualcosa che prendiamo sul serio e lavoriamo continuamente per migliorare la situazione grazie a iniziative come WiML, Girl Geek e il nostro programma Scholars”.
In effetti, OpenAI ha cercato di ampliare il suo pool di talenti. Nel 2018, ha fatto partire il suo programma Scholars in favore delle minoranze sottorappresentate. Ma solo due dei primi otto partecipanti sono diventati dipendenti a tempo pieno, anche se le loro esperienze sono risultate positive. Il motivo più comune per il rifiuto di rimanere è stato l’obbligo di vivere a San Francisco.
Per Nadja Rhodes, una ex partecipante al programma che ora è responsabile dell’apprendimento automatico in un’azienda con sede a New York, la città non ha a cuore la diversità. Se questo è un problema per l’industria dell’IA in generale, lo diventa ancor più per un’azienda la cui missione è di diffondere la tecnologia in modo uniforme a tutti. Se manca una rappresentanza dei gruppi più a rischio si rischia l’esclusione.
Non è affatto chiaro come OpenAI abbia intenzione di “distribuire i benefici” dell’AGI a “tutta l’umanità”, come spesso afferma Brockman citando la sua missione, di cui parla in termini vaghi. A gennaio, il Future of Humanity Institute dell’Università di Oxford ha pubblicato un rapporto in collaborazione con il laboratorio proponendo di distribuire i benefici attraverso una percentuale dei profitti. Ma gli autori hanno citato “importanti questioni irrisolte riguardanti … il modo in cui si sarebbe potuto realizzare il piano”. Questo è il mio più grande problema con OpenAI “, dice un ex dipendente, che ha parlato a condizione di rimanere anonimo.
“Stanno usando tecnologie sofisticate per cercare di rispondere ai problemi sociali con l’IA”, fa eco Britt Paris di Rutgers. “Sembra che non abbiano le capacità per capire realmente il mondo dei social, ma lo intendano solamente come un posto redditizio in cui trovare una posizione di spicco”.
Brockman concorda sul fatto che le competenze tecniche e sociali alla fine saranno necessarie affinché OpenAI raggiunga la sua missione. Ma non è d’accordo sul fatto che entrambe dovrebbero essere coinvolte fin dall’inizio. “In che modo subentrano le questioni etiche? E quando? Una strategia che potresti perseguire è affrontare l’insieme di problemi da subito”, egli afferma, “ma non credo che questa strategia avrebbe successo”. La prima cosa da capire, dice, è come sarà AGI. Solo allora sarà il momento di “comprendere il sistema di ramificazioni”.
L’estate scorsa, nelle settimane successive al passaggio a un modello di profitto limitato e all’iniezione di 1 miliardo di dollari da parte di Microsoft, la dirigenza ha assicurato ai dipendenti che questi “aggiornamenti” non avrebbero cambiato funzionalmente l’approccio di OpenAI alla ricerca. Microsoft era ben allineata con i valori del laboratorio e qualsiasi sforzo di commercializzazione sarebbe rimasto ai margini; gli obiettivi fondamentali rimanevano comunque al centro del lavoro.
Per un periodo, queste assicurazioni sono risultate vere, e i progetti hanno continuato a seguire il loro percorso. Molti dipendenti non sapevano nemmeno quali promesse fossero state fatte a Microsoft. Ma negli ultimi mesi, la pressione della commercializzazione si è intensificata e la necessità di produrre ricerche per fare soldi non sembra più qualcosa in un lontano futuro. Nel condividere la sua visione del 2020 per il laboratorio privatamente con i dipendenti, il messaggio di Altman è chiaro: OpenAI deve fare soldi per fare ricerca, non viceversa.
Questo è un compromesso duro ma necessario, per mancanza di ricchi donatori filantropici. Al contrario, AI2, con sede a Seattle, un’organizzazione no profit che si sta imponendo nel settore della ricerca fondamentale in IA, è finanziata con un fondo lasciato dal defunto Paul Allen, un miliardario noto per aver cofondato Microsoft.
Ma la verità è che OpenAI deve affrontare questo compromesso non solo perché non è ricca, ma anche perché ha fatto la scelta strategica di cercare di raggiungere l’AGI prima di chiunque altro. Questa pressione la costringe a prendere decisioni che sembrano portarla sempre più lontana dalla sua intenzione originale. Partecipa alla corsa per attrarre finanziamenti e talenti, blinda le sue ricerche e insegue una strategia tecnologicamente aggressiva, non perché sia l’unica via per arrivare all’AGI, ma perché sembra la più veloce.
Eppure OpenAI è ancora un bastione del talento, con persone che si impegnano sinceramente a lavorare a beneficio dell’umanità. In altre parole, ha ancora risorse umane importanti e la situazione potrebbe cambiare.
Immagine: Da sinistra a destra: Greg Brockman, cofondatore e CTO; Ilya Sutskever, cofondatore e responsabile scientifico; Dario Amodei, direttore della ricerca.Christie Hemm Klok
(rp)
