Uno strumento sperimentale aiuta i ricercatori a vagliare l’enorme quantità di letteratura sul coronavirus per verificare se i diversi studi seguono il metodo del consenso scientifico.
di Karen Hao
Dall’inizio della pandemia di coronavirus, si è verificata un’ondata di importanti documenti, prodotti da persone con diversi gradi di esperienza e controllati attraverso vari gradi di revisione tra pari. Ciò ha reso difficile per i ricercatori che cercano di far avanzare la loro comprensione del virus separare i fatti su base scientifica dalla finzione.
Lo SciFact, messo a punto dall’Allen Institute for Artificial Intelligence (AI2), è stato progettato per aiutare a fare chiarezza. Se si digita una richiesta precisa nella sua barra di ricerca, per esempio “l’ipertensione è una comorbidità per i pazienti di covid” si attiverà un feed con documenti pertinenti, etichettati a supporto o confutazione dell’asserzione. Verranno anche mostrati gli abstract di ciascun documento ed evidenziate le frasi specifiche al loro interno che forniscono le prove più rilevanti per la valutazione oggettiva.
Il sistema si appoggia alla rete neurale VeriSci, alimentata da un set di dati di verifica dei fatti compilato da Wikipedia e messo a punto su un nuovo set di dati di verifica sulla base di studi scientifici, contenente 1.409 “verità” scientifiche, sostenute da 5.183 abstract.
I ricercatori di AI2 hanno curato quest’ultimo set di dati utilizzando Semantic Scholar, un database di articoli scientifici disponibile al pubblico, che l’organizzazione non profit ha lanciato e gestisce dal 2015. AI2 ha selezionato casualmente un campione di articoli da alcune dozzine di riviste apprezzate in ambito scientifico, tra cui “Cell”, “Nature” e “JAMA”.
Ha quindi estratto delle citazioni dagli articoli e ha chiesto ad alcuni esperti di riscriverle sotto forma di affermazioni scientifiche che potevano essere confermate o contraddette dalla letteratura esistente nel settore.
Quando i ricercatori hanno testato VeriSci su affermazioni scientifiche relative alla covid-19, hanno scoperto che ha recuperato documenti pertinenti e li ha accuratamente etichettati 23 volte su 36. Nonostante queste prestazioni imperfette, il risultato supera la stessa rete neurale addestrata su altri database di verifica dei fatti esistenti e costituisce la prima prova nota di come sia possibile creare un sistema scientificamente valido basato sull’intelligenza artificiale per la verifica dei fatti.
In futuro, alcuni degli errori dello strumento potrebbero essere parzialmente ridotti mediante l’uso di più dati di formazione e ulteriori progressi nella comprensione del linguaggio naturale.
SciFact ha lo scopo di aiutare gli scienziati a verificare rapidamente le loro ipotesi o affermazioni sulla covid-19 che vanno contro la letteratura scientifica esistente. Non mira a dissipare la disinformazione o le teorie della cospirazione che circolano sui social media (per esempio, che la covid-19 è un’arma biologica) o dichiarazioni basate su semplici opinioni (per esempio, che il governo dovrebbe richiedere alle persone di stare a un metro di distanza per rallentare la diffusione del virus).
Data la natura sperimentale dello strumento, gli esperti dovrebbero comunque leggere gli abstract invece di fare affidamento esclusivamente sulle etichette “supporta” e “confuta”. I ricercatori hanno anche notato che lo strumento non controlla la legittimità dei documenti recuperati, quindi gli esperti dovrebbero esercitare un loro giudizio.
Immagine di: Mars58 / Getty
(rp)
