La riproducibilità è un parametro fondamentale nella scienza. Se un risultato non può essere replicato, non può considerarsi scientifico. Eppure negli ultimi anni, si è parlato molto di una “crisi della riproducibilità”. Non è stato semplicemente possibile replicare molti risultati che si supponevano solidi. L’espressione è tipicamente usata nel contesto medico o in psicologia, anche se può applicarsi anche ad altri campi.
In quale misura, dunque, la scienza è riproducibile? Una maniera di affrontare questa domanda è il selezionare un gran numero di studi, in un particolare campo, dopodiché cercare di replicarli. Ciò è già stato fatto molte volte.
Una ricerca del 2012 è stata capace di replicare solo l’11% di 53 studi pre-clinici sul cancro, mentre un’altra del 2015, condotta su 97 studi psicologici, ne è riuscita a replicare il 36%; nello stesso campo, nel 2018 è andata un po’ meglio in una ricerca che ha validato il 54% di 28 studi. Nel 2016 si è raggiunto un 60% di replicabilità su 100 studi di economia vagliati, mentre nel 2018 sono stati verificati il 62% di 21 esperimenti di scienze sociali.
Questi sono numeri deludenti, anche se contengono un importante avvertimento: gli studi da sottoporre a revisione sono stati selezionati con una certa dose di arbitrarietà, pertanto la relativa percentuale di riproducibilità, non può essere considerata rappresentativa dell’intero campo di studi.
Un altro modo di affrontare la questione, con un approccio in stile “saggezza popolare”, è quello di domandare semplicemente, agli stessi ricercatori, quale percentuale degli studi nel loro campo può essere replicata, come è stato fatto in un’indagine condotta da Nature nel 2016, nella quale sono stati raccolti 1500 responsi provenienti, per la maggior parte, da scienziati ancora in attività. Agli interpellati era stato chiesto:” Secondo il tuo parere, in che proporzione sono riproducibili i lavori pubblicati nel tuo campo di studi?”.
Il picco più alto di risposte positive, il 72%, si è avuto fra i fisici, mentre il più basso, con il 52%, si è avuta nella categoria “altri” (che sospetto sia composta principalmente da esperti in scienze sociali). La Medicina e le Scienze dell’Ambiente hanno avuto responsi intermedi, entrambe il 58%, mentre la Chimica si è attestata un po’ più su, al 65%. (Da notare che le risposte non differivano molto fra gli studenti e gli scienziati di professione).
Questi risultati sono, di nuovo, deludenti: secondo gli stessi ricercatori più o meno la metà degli studi pubblicati in medicina, scienze sociali e scienze dell’ambiente non possono essere validati. Non sorprende come campi più “oggettivi” quali la chimica e la fisica, siano percepiti come maggiormente replicabili.
Complessivamente i due metodi contengono dati simili: una grande percentuale di risultati nei campi più “soggettivi” o, come si potrebbe azzardare, politicizzati, non sono riproducibili.
Noah Carl
Articolo originario da Daily Sceptic
Traduzione di Claudio Consoli
