Combinando una moltitudine di previsioni e proiezioni, i team di modellazione stanno cercando di affinare i livelli di incertezza che circondano la diffusione del virus.
di Siobhan Robert
All’inizio di questa primavera, sul server di prestampa medRxiv è apparso un articolo che studiava le previsioni sul covid con un elenco di autori con 256 nomi. Alla fine della lista c’era Nicholas Reich, un biostatistico e ricercatore di malattie infettive dell’Università del Massachusetts, ad Amherst. Il documento riportava i risultati di un enorme progetto di modellazione che Reich ha co-diretto, con il suo collega Evan Ray, sin dai primi giorni della pandemia.
Nel progetto venivano confrontati vari modelli online facendo previsioni a breve termine sui movimenti del covid-19, analizzando da una a quattro settimane in anticipo i possibili tassi di infezione, ricoveri e decessi. Tutti hanno utilizzato fonti di dati e metodi diversi e hanno prodotto previsioni ampiamente divergenti. “Ho passato alcune notti con le previsioni sui browser su più schermi, cercando di fare un semplice confronto”, dice Reich. “Un’impresa al limita dell’ impossibile”.
Nel tentativo di standardizzare un’analisi, nell’aprile del 2020, il laboratorio di Reich, in collaborazione con i CDC, ha lanciato il Covid-19 Forecast Hub, che vuole aggregare e valutare i risultati settimanali di molti modelli e generare un “modello di insieme”. Il risultato dello studio, afferma Reich, è che “affidarsi a modelli individuali non è l’approccio migliore. La combinazione o la sintesi di più modelli è l’unica strada per previsioni più accurate a breve termine”.
Lo scopo delle previsioni a breve termine è considerare la probabilità di traiettorie diverse nell’immediato futuro. Queste informazioni sono cruciali per le agenzie di sanità pubblica nel prendere decisioni e nell’attuazione delle politiche, ma sono difficile da ottenere, specialmente durante una pandemia dominata dall’incertezza.
Sebastian Funk, epidemiologo di malattie infettive della London School of Hygiene & Tropical Medicine, che fa riferimento all’esperienza del grande medico svedese Hans Rosling nell’aiutare il governo liberiano a combattere l’epidemia di Ebola del 2014, ha osservato: “Ci stavamo perdendo in dettagli… Tutto quello che ci serve sapere è se il numero di casi aumenta, diminuisce o si stabilizza”.
“Questo di per sé non è sempre un compito banale, dato che il rumore in diversi flussi di dati può oscurare le vere tendenze”, afferma Funk, il cui team contribuisce all’hub statunitense, e lo scorso marzo ha lanciato un’impresa parallela, la European Covid-19 Forecast Hub, in collaborazione con il Centro europeo per la prevenzione e il controllo delle malattie.
Si procede per cerchi progressivi
Ad oggi, il Forecast Hub statunitense ha incluso contributi da circa 100 team internazionali del mondo accademico, industriale e governativo, nonché ricercatori indipendenti, come il data scientist Youyang Gu. La maggior parte dei team cerca di rispecchiare ciò che sta accadendo nel mondo con un quadro epidemiologico standard. Altri usano modelli statistici che analizzano i numeri con tecniche di deep learning.
Ogni settimana, ciascuna squadra invia non solo una previsione a punti che prevede un singolo risultato numerico (per esempio; in una settimana ci saranno 500 decessi). Vengono anche presentate previsioni probabilistiche che quantificano l’incertezza stimando la probabilità del numero di casi o decessi per intervalli, che si restringono sempre più, con l’obiettivo di una unica previsione. Un modello potrebbe prevedere che esiste una probabilità del 90 per cento di registrare da 100 a 500 morti, una probabilità del 50 per cento di averne da 300 a 400 e una probabilità del 10 per cento che il numero complessivo si collochi tra 350 e 360.
Funk aggiunge: “Più nitido definisci il bersaglio, meno probabilità avrai di colpirlo”. È un buon equilibrio, poiché una previsione arbitrariamente ampia avrà maggiore probabilità di essere corretta, ma sarà anche inutile. “Ci si deve avvicinare a piccoli passi”, afferma Funk, “per dare una risposta corretta”.
Il risultato è una previsione probabilistica, una media statistica o una “previsione mediana”. È un consenso, in sostanza, con un’espressione dell’incertezza più finemente calibrata, e quindi più realistica. Lo studio del laboratorio di Reich, che si è concentrato sui decessi previsti e ha valutato circa 200.000 previsioni da metà maggio a fine dicembre 2020 (sarà presto aggiunta un’analisi aggiornata con previsioni per altri quattro mesi), ha rilevato che le prestazioni dei singoli modelli erano altamente variabili.
Una settimana un modello sembrava accurato, la settimana successiva era carente. Ma, come hanno scritto gli autori: “Combinando le previsioni di tutti diversi gruppi, veniva fuori la migliore accuratezza probabilistica complessiva”.
“Una delle lezioni della modellazione d’insieme è che nessuno dei modelli è perfetto”, afferma Ashleigh Tuite, epidemiologo della Dalla Lana School of Public Health dell’Università di Toronto, “Anche all’ensemble a volte mancherà qualcosa di importante. I modelli in generale hanno difficoltà a prevedere i punti di flessione, i picchi o se le cose iniziano improvvisamente ad accelerare o decelerare”.
L’uso della modellazione d’insieme non è esclusivo della pandemia. In effetti, siamo dinanzi a previsioni di gruppo ogni giorno quando si cerca su Google che tempo farà e si legge che le possibilità di precipitazioni sono del 90 per cento. “È stata la via maestra della ricerca per circa tre decenni”, afferma Tilmann Gneiting, statistico computazionale dell’Istituto di studi teorici di Heidelberg e l’Istituto di tecnologia di Karlsruhe in Germania.
Prima dei modelli d’ensemble, le previsioni del tempo utilizzavano un unico schema numerico, che produceva, in forma grezza, una previsione meteorologica deterministica che era “inaffidabile”, sostiene Gneiting (i meteorologi, consapevoli di questo problema, hanno sottoposto i risultati grezzi a successive analisi statistiche che hanno portato a risultati delle previsioni ragionevolmente attendibili negli anni 1960).
Gneiting osserva, tuttavia, che l’analogia tra malattie infettive e previsioni del tempo ha i suoi limiti. Per prima cosa, la probabilità di precipitazioni non cambia in risposta al comportamento umano mentre la traiettoria della pandemia risponde alle nostre misure preventive. La previsione durante una pandemia è un sistema soggetto a un ciclo di feedback.
“I modelli non sono oracoli”, afferma Alessandro Vespignani, epidemiologo computazionale della Northeastern University e collaboratore dell’ensemble hub, che studia reti complesse e diffusione delle malattie infettive con particolare attenzione ai sistemi “tecno-sociali” che guidano i meccanismi di feedback. “Qualsiasi modello fornisce una risposta che è condizionata a determinati presupposti”.
Quando le persone elaborano la previsione di un modello, i loro successivi cambiamenti comportamentali capovolgono le ipotesi, modificano le dinamiche della malattia e rendono la previsione imprecisa. In questo modo, la modellazione può essere una “profezia autodistruttiva”. E ci sono altri fattori che potrebbero aggravare l’incertezza: stagionalità, varianti, disponibilità o adozione del vaccino; e cambiamenti politici come la rapida decisione del CDC sull’uso delle mascherine. “Tutte queste rappresentano enormi incognite se volessi davvero decifrare l’incertezza del futuro”, afferma Justin Lessler, epidemiologo della Johns Hopkins Bloomberg School of Public Health.
Lo studio d’insieme delle previsioni sui decessi ha osservato che l’accuratezza decade e l’incertezza cresce, man mano che i modelli fanno previsioni più in là nel futuro: la possibilità di errore raddoppia con previsioni a quattro settimane rispetto a una (quattro settimane sono considerate il limite a breve termine; se l’orizzonte temporale si allarga a 20 settimane, le probabilità di errore si quintuplicano).
Ma valutare la qualità dei modelli è un importante obiettivo secondario dei centri di previsione. Ed è abbastanza facile da fare, dal momento che le previsioni a breve termine vengono rapidamente confrontate con la realtà dei numeri conteggiati giorno per giorno, come misura del loro successo. La maggior parte dei ricercatori è attenta a distinguere tra questo tipo di “modello di previsione”, che è possibile solo a breve termine, rispetto a un “modello di scenario”, in cui si esplorano ipotetici “what if”, possibili trame che potrebbero svilupparsi nel futuro a medio o lungo termine (poiché i modelli di scenario non sono pensati per essere previsioni, non dovrebbero essere valutati retrospettivamente rispetto alla realtà).
Durante la pandemia, si è puntato il riflettore su modelli con previsioni clamorosamente sbagliate. “È giusto discutere quando le cose hanno funzionato e quando non”, dice Johannes Bracher, biostatistico dell’Heidelberg Institute for Theoretical Studies e il Karlsruhe Institute of Technology, che coordina un hub tedesco e polacco e collabora con l’hub europeo, “ma un dibattito informato richiede di riconoscere e considerare i limiti e le intenzioni dei modelli perché a volte i critici più accaniti sono stati quelli che hanno scambiato i modelli di scenario per modelli di previsione”, spiega.
Allo stesso modo, quando le previsioni in una data situazione si rivelano irrealizzabili, chi progetta i modelli dovrebbe dirlo. “Se abbiamo imparato una cosa, è che i casi sono estremamente difficili da inserire in un modello anche nel breve periodo”, afferma Bracher. “I decessi sono un indicatore più ritardato e sono più facili da prevedere”.
Ad aprile, alcuni dei modelli europei erano eccessivamente pessimisti e hanno mancato un improvviso calo dei casi. Ne è seguito un dibattito pubblico sull’accuratezza e l’affidabilità dei modelli pandemici. Su Twitter, Bracher si è chiesto: “È sorprendente che i modelli (non di rado) si sbaglino? Dopo un anno di pandemia, la mia risposta è no”. “Ciò rende ancora più importante”, continua, “che i modelli indichino il loro livello di certezza o incertezza, che prendano una posizione realistica su quanto siano imprevedibili i casi e sul corso futuro, senza timore che ciò venga visto come un fallimento”.
Alcuni modelli sono più affidabili di altri
Come recita un aforisma statistico spesso citato: “Tutti i modelli sono sbagliati, ma alcuni sono utili”. Tuttavia, come osserva Bracher: “Se si segue l’approccio del modello di insieme, in un certo senso si sta affermando che tutti i modelli sono utili, che ogni modello può offrire un contributo”, anche se alcuni modelli possano essere più informativi o affidabili di altri.
Reich e altri hanno provato a “costruire algoritmi che insegnano al modello comune a ‘fidarsi’ di alcuni modelli più di altri”. Il team di Bracher ora contribuisce con un mini-insieme, costruito solo dai modelli che hanno funzionato costantemente bene in passato, amplificando il segnale più chiaro. “La domanda di fondo è: possiamo migliorare?”, dice Reich. “Il metodo originale è così semplice. Finora, però, sta funzionando con difficoltà. Piccoli miglioramenti sembrano fattibili, ma andare oltre appare impossibile”, conclude.
Uno strumento complementare per migliorare la nostra prospettiva generale sulla pandemia al di là di scenari settimanali è guardare oltre l’orizzonte temporale, da quattro a sei mesi, con i “modelli di scenari”. Lo scorso dicembre, motivati dall’aumento dei casi e dall’imminente disponibilità del vaccino, Lessler e collaboratori hanno lanciato il Covid-19 Scenario Modeling Hub, in collaborazione con il CDC.
I modelli di scenario pongono limiti al futuro sulla base di ipotesi “what if” ben definite, concentrandosi su quelle che sono considerate importanti fonti di incertezza e utilizzandole come punti di leva per tracciare la rotta futura. A tal fine, Katriona Shea, ecologista teorica della Penn State University e coordinatrice dell’iniziativa, adotta un approccio formale per prendere buone decisioni in un ambiente incerto, utilizzando anche esperti di diverse opinioni. I modellisti chiedono anche ai responsabili politici indicazioni su ciò che potrebbe essere utile.
Considerano anche la più ampia catena decisionale che segue le proiezioni. Per esempio, le strategie degli imprenditori in merito alla riapertura e le decisioni del pubblico in generale sulle vacanze estive. L’hub ha appena terminato il suo quinto round di modellizzazione con i seguenti scenari: i casi, l’ospedalizzazione e i tassi di mortalità da ora fino a ottobre se la diffusione del vaccino negli Stati Uniti raggiunge l’83 percento a livello nazionale? E se l’assorbimento del vaccino fosse del 68 per cento? E cosa accade se c’è una moderata riduzione del 50 per cento degli interventi non farmaceutici come l’uso delle mascherine e il distanziamento sociale, rispetto a una riduzione dell’80 per cento?
In alcuni scenari, il futuro sembra buono. Con il tasso di vaccinazione più alto e/o gli interventi non farmaceutici sostenuti come l’uso delle mascherine e il distanziamento sociale, “le cose vanno nel modo giusto”, afferma Lessler. Con l’estremo opposto, il modello generale prevede nuovi rialzi in autunno, sebbene i singoli modelli mostrino differenze qualitative più per questo scenario, con alcuni con previsioni di casi e decessi limitati, mentre altri prevedono picchi molto più alti rispetto al modello generale.
L’hub modellerà ancora qualche altro round, anche se stanno ancora discutendo su quali scenari esaminare: le possibilità includono varianti più altamente trasmissibili, varianti che mantengono la protezione immunitaria e la prospettiva di diminuire l’immunità diversi mesi dopo le vaccinazioni. Non possiamo controllare quegli scenari in termini di influenza sul loro corso, dice Lessler, ma possiamo contemplare come potremmo pianificare di conseguenza. Naturalmente, come dice Lessler, c’è solo uno scenario che ognuno di noi vorrebbe modellare mentalmente: la fine della pandemia.
Immagine di: Getty / MIT Technology Review
(rp)
