Quando le statistiche ingannano: dall’errore onesto alla manipolazione deliberata

L’errore statistico in senso più ampio

Quando parliamo di errore statistico, di solito pensiamo a errori all’interno di un processo scientifico sostanzialmente in buona fede: un campione inadeguato, un errore di misura, un modello sbagliato, la confusione tra correlazione e causalità oppure un’estrapolazione eccessiva. Le persone cercano di descrivere la realtà correttamente, ma commettono errori.

È solo una parte del problema. I numeri possono creare un quadro falso anche quando i calcoli sono corretti. Le aspettative del ricercatore, gli incentivi di carriera, gli sponsor, gli obiettivi politici, l’ideologia, la pubblicazione selettiva e la presentazione possono determinare quali numeri diventino visibili.

1. Anche uno scienziato onesto può essere condizionato dai propri bias

Gli scienziati sono esseri umani. Un ricercatore che considera plausibile un’ipotesi può, senza rendersene conto, prendere decisioni che favoriscono il risultato atteso: quale osservazione è un outlier? Quale sottogruppo viene analizzato? Quale esito viene enfatizzato? Quando termina la raccolta dei dati? Quale tra diversi metodi statisticamente difendibili viene scelto?

Queste scelte non sono automaticamente frode. Diventano problematiche quando vengono provate molte possibilità analitiche e si riferisce soltanto il risultato più appariscente. Una pratica collegata è l’HARKing — “Hypothesizing After the Results are Known”: formulare un’ipotesi dopo aver visto i risultati e presentarla poi come se fosse stata pianificata fin dall’inizio. Norbert Kerr introdusse il termine nel 1998.

Esiste quindi una zona grigia importante tra errore onesto e falsificazione deliberata. Un ricercatore può essere sinceramente convinto di aver lavorato con rigore, mentre le sue aspettative influenzano comunque la scelta delle analisi e l’interpretazione.

2. Quando il bias diventa cattiva condotta scientifica

Un confine più netto viene superato quando i dati sono inventati, alterati o deliberatamente omessi in modo che il resoconto scientifico non rappresenti più ciò che è realmente accaduto. L’U.S. Office of Research Integrity distingue esplicitamente fabrication, falsification e plagio dall’errore onesto.

Per questo è meglio non parlare genericamente di “cattivi scienziati”. Esiste un continuum che va dal bias di conferma inconsapevole alle pratiche di ricerca discutibili fino all’inganno intenzionale — e un’accusa di frode deliberata richiede prove.

3. Lo sponsor: dieci studi — e ne diventa visibile soltanto uno?

Immaginiamo un’azienda che voglia sapere se il proprio prodotto è innocuo o addirittura benefico. Finanzia dieci studi. Nove non trovano benefici o contraddicono il messaggio desiderato; uno produce un risultato favorevole. Se proprio quello studio viene pubblicato, promosso o citato ripetutamente a politici e giornalisti, l’immagine pubblica può risultare radicalmente distorta.

Il numero “dieci” è un esperimento mentale, non la descrizione di un caso specifico. I meccanismi sottostanti — publication bias e reporting selettivo — sono però ben documentati. Una revisione Cochrane ha trovato che gli studi clinici con risultati positivi avevano probabilità molto maggiori di essere pubblicati rispetto a studi con risultati negativi o nulli. Un’altra revisione Cochrane ha mostrato che gli studi su farmaci e dispositivi sponsorizzati dall’industria producevano più spesso risultati di efficacia e conclusioni favorevoli al prodotto dello sponsor rispetto a studi con altre fonti di finanziamento.

Un esempio particolarmente chiaro viene da un’analisi di 74 studi sugli antidepressivi registrati presso la FDA statunitense. Nella letteratura pubblicata, il 94% degli studi pubblicati appariva positivo. Secondo la valutazione della FDA, solo il 51% di tutti gli studi registrati era positivo. Ventidue studi negativi o dubbi non erano stati pubblicati; altri undici erano stati pubblicati in modo che, secondo gli autori, comunicava un esito positivo. Gli stessi ricercatori sottolineavano però che i loro dati non permettevano di stabilire se la distorsione derivasse dagli autori, dagli sponsor, dalle riviste o da una combinazione di questi fattori.

Tabacco: fabbricare il dubbio

Il tabacco offre un caso eccezionalmente ben documentato, perché le cause giudiziarie hanno reso pubbliche vaste raccolte di documenti interni dell’industria. L’Organizzazione mondiale della Sanità descrive strategie per screditare la ricerca, finanziare la scienza e influenzare le politiche. Uno studio concentrato sulla Germania ha raggruppato i meccanismi visibili nei documenti interni in cinque categorie: suppression, dilution, distraction, concealment e manipulation.

L’obiettivo non deve necessariamente essere dimostrare una controtesi palesemente falsa. Può bastare creare l’impressione che la scienza sia ancora totalmente incerta. Produrre incertezza può far apparire politicamente debole un’evidenza in realtà robusta.

Alcol: conflitti d’interesse senza presumere frode

Esiste anche un dibattito scientifico sul coinvolgimento dell’industria dell’alcol nella ricerca. Una revisione sistematica delle opinioni della comunità di ricerca sull’alcol discute preoccupazioni quali il finanziamento diretto di ricercatori e centri universitari, la ricerca su contratto, il sostegno a organizzazioni scientifiche e i tentativi di influenzare la percezione pubblica della ricerca e delle politiche sull’alcol. Questo non dimostra che ogni studio finanziato dall’industria sia sbagliato. È però un motivo per esaminare con particolare attenzione finanziamento, disegno dello studio, completezza della pubblicazione dei risultati e indipendenza scientifica.

4. Un sistema distorto non ha bisogno di un truffatore

Un punto molto importante è facile da perdere: la letteratura scientifica può diventare distorta anche se nessuno inventa dati. I ricercatori possono inviare più volentieri risultati sorprendenti, le riviste preferire risultati positivi, carriere e finanziamenti premiare la novità e i risultati nulli rimanere nel cassetto.

Ne risulta un filtro. Non tutti gli studi completati hanno la stessa probabilità di entrare nella letteratura visibile. Chi in seguito legge soltanto gli studi pubblicati può quindi vedere un insieme di prove sistematicamente spostato.

Una risposta sono i Registered Reports: la domanda di ricerca e i metodi vengono sottoposti a revisione prima che i risultati siano noti. La decisione di pubblicazione dipende così meno dal fatto che il risultato finale sia spettacolare o “positivo”.

5. Uso politico e ideologico delle statistiche

La manipolazione politica non richiede di inventare numeri. Definizioni, denominatori, finestre temporali o paesi di confronto possono essere scelti per sostenere una narrazione preferita. La disoccupazione cambia con la definizione; la spesa pubblica appare diversa come somma assoluta o percentuale del PIL; il numero dei reati racconta una storia diversa dal tasso per 100.000 abitanti; una tendenza cambia aspetto se il grafico parte dal 2019 invece che dal 2020.

La qualità delle statistiche ufficiali può diventare essa stessa una questione politica e istituzionale. Nel 2013 il Fondo monetario internazionale emise una dichiarazione formale di censura nei confronti dell’Argentina per dati inesatti su IPC e PIL; la censura fu revocata nel 2016 dopo miglioramenti metodologici. Eurostat pubblicò nel 2010 un rapporto dettagliato sui problemi di qualità e metodo nelle statistiche greche su deficit e debito pubblico. Questi casi mostrano l’importanza di istituzioni statistiche indipendenti e trasparenti. Da soli non provano però l’intenzione di una specifica persona; l’intenzione va dimostrata separatamente dalla scarsa qualità dei dati.

6. Cherry-picking: tutti i numeri sono veri, ma la storia è falsa

Non è necessario falsificare una statistica per fuorviare. Si può scegliere:

• l’anno iniziale o finale più conveniente,
• un sottogruppo favorevole invece dell’intera popolazione,
• il rischio relativo invece del rischio assoluto,
• la media invece della mediana — o viceversa,
• conteggi assoluti invece di tassi pro capite,
• importi nominali invece di valori corretti per l’inflazione,
• uno studio favorevole all’interno di una letteratura più ampia e contraddittoria.

Ogni singola affermazione può essere corretta. La manipolazione non sta nell’aritmetica, ma nella selezione della cornice.

7. Manipolazione attraverso la presentazione

Dopo la selezione viene la presentazione. Un asse y troncato può far apparire enorme una piccola differenza. Variazioni percentuali senza valore di partenza possono suggerire un effetto drammatico. Un totale cumulativo può essere fatto apparire come un tasso attuale. Barre e superfici tridimensionali possono distorcere le proporzioni. Un periodo molto lungo può nascondere un crollo recente; uno molto breve può trasformarlo in catastrofe.

Una domanda utile è: quale altra presentazione, altrettanto corretta, degli stessi dati produrrebbe una diversa impressione immediata?

8. La statistica che non è mai stata raccolta

C’è una domanda ancora più fondamentale: quali dati vengono raccolti? Ciò che non viene misurato, classificato o pubblicato può diventare quasi invisibile nel dibattito pubblico. L’assenza di dati non richiede una cospirazione: costi, sistemi di segnalazione carenti, definizioni incoerenti o limiti tecnici sono sufficienti. Ma le decisioni su ciò che un’istituzione misura definiscono i confini di ciò che potrà poi essere discusso come prova “oggettiva”.

Come proteggerci?

• Controllare finanziamento e conflitti d’interesse. Chi beneficia di un certo risultato?
• Cercare preregistrazioni e registri degli studi. Possono rendere visibili studi svolti ma mai pubblicati.
• Confrontare outcome primari e piani di analisi originali. La domanda è cambiata dopo aver visto i risultati?
• Cercare risultati nulli e contrari. Un singolo studio raramente rappresenta tutta l’evidenza.
• Confrontare numeri assoluti e relativi.
• Provare periodi, denominatori e visualizzazioni alternativi.
• Separare metodi e dati dall’interpretazione. La conclusione di un articolo può essere più forte delle prove.
• Preferire replicazioni indipendenti, dati aperti e metodi trasparenti.

Dall’errore di calcolo all’architettura dell’informazione

In senso stretto, l’errore statistico è un problema di misura o analisi. In senso più ampio, la distorsione può entrare almeno a cinque livelli:

1. Misura: cosa viene misurato e come?
2. Analisi: quali modelli, test e sottogruppi vengono scelti?
3. Selezione: quali studi e risultati diventano visibili?
4. Comunicazione: come vengono inquadrati e visualizzati i numeri?
5. Interesse e intenzione: quali obiettivi personali, commerciali, politici o ideologici influenzano le fasi precedenti?

La domanda centrale quindi cambia. Non è più soltanto “La statistica è matematicamente corretta?”, ma anche: “Quale processo ha prodotto proprio questa statistica — e quali informazioni alternative non sto vedendo?”

Fonti e approfondimenti

1. U.S. Office of Research Integrity (ORI): Definition of Research Misconduct — Definisce la cattiva condotta scientifica e distingue esplicitamente fabrication e falsification dall’errore onesto.
2. Lundh et al., Cochrane: Industry sponsorship and research outcome — Revisione sistematica sull’associazione tra sponsorizzazione industriale e risultati o conclusioni favorevoli allo sponsor.
3. Hopewell et al., Cochrane: Publication bias in clinical trials — Evidenza empirica che i risultati positivi hanno maggiori probabilità di essere pubblicati rispetto a risultati negativi o nulli.
4. Turner et al. (2008): Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy, New England Journal of Medicine — Confronto fra 74 studi sugli antidepressivi registrati presso la FDA e la letteratura pubblicata.
5. World Health Organization: Tobacco industry interference with tobacco control — Panoramica delle strategie documentate dell’industria del tabacco per influenzare scienza e politica.
6. Grüning et al. (2006): Tobacco Industry Influence on Science and Scientists in Germany — Analisi di documenti interni dell’industria del tabacco con particolare attenzione alla Germania.
7. McCambridge et al. (2018): Alcohol industry involvement in science — Revisione sistematica delle preoccupazioni su conflitti d’interesse e coinvolgimento industriale nella ricerca sull’alcol.
8. Kerr (1998): HARKing — Hypothesizing After the Results are Known — Articolo fondamentale sul concetto di HARKing.
9. International Monetary Fund (2013): Statement on Argentina — Censura formale relativa a dati inesatti su IPC e PIL.
10. Eurostat (2010): Report on Greek government deficit and debt statistics — Rapporto sui problemi di qualità e metodo nelle statistiche greche su deficit e debito.
11. Center for Open Science: Registered Reports — Modello di pubblicazione in cui domanda di ricerca e metodi vengono valutati prima di conoscere i risultati.

Gli esempi illustrano meccanismi. Problemi di qualità dei dati o distorsioni documentati non provano automaticamente l’inganno deliberato da parte di tutte le persone coinvolte; l’intenzione deve essere dimostrata separatamente.