Quand les statistiques trompent : de l’erreur honnête à la manipulation délibérée

L’erreur statistique au sens large

Quand nous parlons d’erreur statistique, nous pensons d’abord aux erreurs commises dans un processus scientifique fondamentalement de bonne foi : mauvais échantillon, erreur de mesure, modèle inadapté, confusion entre corrélation et causalité ou extrapolation excessive. Les personnes concernées cherchent à décrire la réalité correctement, mais elles se trompent.

Ce n’est qu’une partie du problème. Des chiffres peuvent donner une image fausse même si les calculs sont exacts. Les attentes du chercheur, les incitations de carrière, les financeurs, des objectifs politiques ou idéologiques, la publication sélective et la présentation peuvent déterminer quels chiffres deviennent visibles.

1. Un chercheur honnête peut malgré tout être biaisé

Les scientifiques sont humains. Un chercheur convaincu de la plausibilité d’une hypothèse peut, sans le vouloir, prendre des décisions qui favorisent le résultat attendu : quelle observation est considérée comme aberrante ? Quel sous-groupe est analysé ? Quel critère est mis en avant ? Quand arrête-t-on la collecte ? Laquelle de plusieurs méthodes statistiquement défendables choisit-on ?

Ces choix ne constituent pas automatiquement une fraude. Ils deviennent problématiques lorsque de nombreuses possibilités analytiques sont essayées et que seul le résultat spectaculaire est rapporté. Une pratique apparentée est le HARKing — « Hypothesizing After the Results are Known » : une hypothèse est formulée après examen des résultats puis présentée comme si elle avait été prévue dès le départ. Norbert Kerr a introduit ce terme en 1998.

Il existe donc une zone grise importante entre l’erreur honnête et la falsification délibérée : un chercheur peut être sincèrement convaincu d’avoir travaillé avec rigueur, tout en laissant ses attentes influencer le choix des analyses et l’interprétation.

2. Quand le biais devient inconduite scientifique

Une limite plus nette est franchie lorsque des données sont inventées, modifiées ou délibérément omises de sorte que le dossier scientifique ne représente plus correctement ce qui s’est réellement passé. L’U.S. Office of Research Integrity distingue explicitement la fabrication, la falsification et le plagiat de l’erreur honnête.

Il vaut donc mieux ne pas regrouper tout cela sous l’étiquette de « mauvais scientifiques ». Il existe un continuum entre biais de confirmation inconscient, pratiques de recherche discutables et tromperie intentionnelle — et une accusation de fraude exige des preuves.

3. Le financeur : dix études — et une seule devient visible ?

Imaginons une entreprise qui veut savoir si son produit est inoffensif, voire bénéfique. Elle finance dix études. Neuf ne trouvent aucun bénéfice ou contredisent le message souhaité ; une fournit un résultat favorable. Si cette seule étude est ensuite publiée, promue ou citée de façon répétée auprès des médias et des responsables politiques, l’image publique peut être profondément faussée.

Le nombre « dix » est ici une expérience de pensée, non l’affirmation d’un cas particulier. Mais les mécanismes sous-jacents — biais de publication et rapport sélectif — sont bien documentés. Une revue Cochrane a constaté que les essais cliniques aux résultats positifs étaient nettement plus susceptibles d’être publiés que les essais négatifs ou nuls. Une autre revue Cochrane a montré que les études sur médicaments et dispositifs financées par l’industrie aboutissaient plus souvent à des résultats d’efficacité et à des conclusions favorables au produit du sponsor que les études financées autrement.

Un exemple particulièrement clair vient d’une analyse de 74 essais d’antidépresseurs enregistrés auprès de la FDA américaine. Dans la littérature publiée, 94 % des essais publiés paraissaient positifs. Selon l’évaluation de la FDA, seuls 51 % de l’ensemble des essais enregistrés étaient positifs. Vingt-deux essais négatifs ou discutables n’avaient pas été publiés et onze autres avaient été publiés d’une manière que les auteurs jugeaient positive. Les chercheurs ont toutefois souligné que leurs données ne permettaient pas de déterminer si la distorsion provenait des auteurs, des sponsors, des revues ou d’une combinaison de ces facteurs.

Tabac : fabriquer le doute

Le tabac fournit un cas exceptionnellement bien documenté, car des procès ont rendu publics de nombreux documents internes de l’industrie. L’Organisation mondiale de la Santé décrit des stratégies visant à discréditer la recherche, financer la science et influencer les politiques publiques. Une étude consacrée à l’Allemagne a regroupé les mécanismes observés dans les documents internes en cinq catégories : suppression, dilution, distraction, concealment et manipulation.

L’objectif n’est pas toujours de démontrer une contre-affirmation clairement fausse. Il peut suffire de donner l’impression que la science est encore totalement incertaine. Produire du doute peut rendre politiquement faible une connaissance pourtant robuste.

Alcool : conflits d’intérêts sans présumer la fraude

Il existe aussi un débat scientifique sur l’implication de l’industrie de l’alcool dans la recherche. Une revue systématique des points de vue de la communauté de recherche sur l’alcool mentionne notamment le financement direct de chercheurs et centres universitaires, la recherche sous contrat, le soutien d’organisations scientifiques et les tentatives d’influencer la perception publique de la recherche et des politiques sur l’alcool. Cela ne prouve pas que toute étude financée par l’industrie soit fausse. Cela justifie en revanche un examen particulièrement attentif du financement, du protocole, de la publication complète des résultats et de l’indépendance scientifique.

4. Un système biaisé n’a pas besoin d’un fraudeur

Un point essentiel est facile à manquer : la littérature scientifique peut devenir biaisée sans que personne ne fabrique de données. Les chercheurs peuvent être plus enclins à soumettre des résultats surprenants, les revues préférer les résultats positifs, les carrières et financements récompenser la nouveauté, et les résultats nuls rester dans les tiroirs.

Il en résulte un filtre. Toutes les études terminées n’ont pas la même probabilité d’entrer dans la littérature visible. Celui qui ne lit ensuite que les publications peut donc observer un ensemble de preuves systématiquement déformé.

Les Registered Reports constituent une réponse possible : la question de recherche et la méthode sont évaluées avant que les résultats soient connus. La décision de publier dépend ainsi moins du caractère spectaculaire ou « positif » du résultat final.

5. Usage politique et idéologique des statistiques

La manipulation politique ne nécessite pas d’inventer des nombres. Définitions, dénominateurs, périodes ou pays de comparaison peuvent être choisis pour soutenir un récit préféré. Le chômage change selon sa définition ; les dépenses publiques racontent une autre histoire en montant absolu qu’en pourcentage du PIB ; les nombres de crimes ne sont pas les taux pour 100 000 habitants ; une tendance paraît différente selon que le graphique commence en 2019 ou en 2020.

La qualité des statistiques officielles peut elle-même devenir un enjeu politique et institutionnel. En 2013, le Fonds monétaire international a prononcé une déclaration de censure contre l’Argentine pour des données inexactes sur l’IPC et le PIB ; elle a été levée en 2016 après des améliorations méthodologiques. Eurostat a publié en 2010 un rapport détaillé sur les problèmes de qualité et de méthode concernant les statistiques grecques de déficit et de dette. Ces cas montrent l’importance d’institutions statistiques indépendantes et transparentes. Ils ne prouvent pas, à eux seuls, l’intention particulière d’un individu ; l’intention doit être établie séparément de la mauvaise qualité des données.

6. Cherry-picking : tous les chiffres sont vrais, mais l’histoire est fausse

Il n’est pas nécessaire de falsifier un chiffre pour tromper. On peut choisir :

• l’année de départ ou de fin la plus favorable,
• un sous-groupe favorable plutôt que l’ensemble de la population,
• le risque relatif plutôt que le risque absolu,
• la moyenne plutôt que la médiane — ou l’inverse,
• des nombres absolus plutôt que des taux par habitant,
• des montants nominaux plutôt que corrigés de l’inflation,
• une étude favorable dans une littérature plus large et contradictoire.

Chaque affirmation peut être exacte. La manipulation ne réside alors pas dans l’arithmétique, mais dans le choix du cadre.

7. Manipulation par la présentation

Après la sélection vient la présentation. Un axe vertical tronqué peut rendre énorme une petite différence. Des variations en pourcentage sans valeur initiale peuvent suggérer un effet spectaculaire. Un total cumulé peut être présenté comme un taux actuel. Des barres ou surfaces en 3D peuvent déformer les proportions. Une très longue période peut faire disparaître une chute récente ; une période très courte peut la transformer en catastrophe.

Une bonne question est : quelle autre présentation, tout aussi correcte, des mêmes données provoquerait une impression immédiate différente ?

8. La statistique qui n’a jamais été collectée

Une question encore plus fondamentale est de savoir quelles données sont collectées. Ce qui n’est ni mesuré, ni classé, ni publié peut devenir presque invisible dans le débat public. L’absence de données ne suppose pas un complot : coûts, systèmes de déclaration défaillants, définitions incohérentes ou limites techniques suffisent. Mais les décisions sur ce qu’une institution mesure fixent les limites de ce qui pourra ensuite être discuté comme preuve « objective ».

Comment se protéger ?

• Vérifier le financement et les conflits d’intérêts. Qui bénéficie d’un certain résultat ?
• Chercher les préenregistrements et registres d’études. Ils peuvent révéler des études effectuées mais jamais publiées.
• Comparer les critères principaux et plans d’analyse initiaux. La question a-t-elle changé après connaissance des résultats ?
• Chercher les résultats nuls et contradictoires. Une étude n’est presque jamais toute la preuve.
• Comparer nombres absolus et relatifs.
• Tester d’autres périodes, dénominateurs et visualisations.
• Séparer méthodes et données de leur interprétation. La conclusion peut être plus forte que les données.
• Privilégier réplications indépendantes, données ouvertes et méthodes transparentes.

De l’erreur de calcul à l’architecture de l’information

Au sens étroit, l’erreur statistique est un problème de mesure ou d’analyse. Au sens large, la distorsion peut entrer à au moins cinq niveaux :

1. Mesure : que mesure-t-on et comment ?
2. Analyse : quels modèles, tests et sous-groupes choisit-on ?
3. Sélection : quelles études et quels résultats deviennent visibles ?
4. Communication : comment les nombres sont-ils cadrés et visualisés ?
5. Intérêt et intention : quels objectifs personnels, commerciaux, politiques ou idéologiques influencent les étapes précédentes ?

La question centrale change donc. Ce n’est plus seulement « La statistique est-elle mathématiquement correcte ? », mais aussi : « Quel processus a produit précisément cette statistique — et quelles informations alternatives ne suis-je pas en train de voir ? »

Sources et lectures complémentaires

1. U.S. Office of Research Integrity (ORI): Definition of Research Misconduct — Définit l’inconduite scientifique et distingue explicitement fabrication et falsification de l’erreur honnête.
2. Lundh et al., Cochrane: Industry sponsorship and research outcome — Revue systématique sur l’association entre financement industriel et résultats ou conclusions favorables au sponsor.
3. Hopewell et al., Cochrane: Publication bias in clinical trials — Données empiriques montrant que les résultats positifs sont plus souvent publiés que les résultats négatifs ou nuls.
4. Turner et al. (2008): Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy, New England Journal of Medicine — Comparaison de 74 essais d’antidépresseurs enregistrés auprès de la FDA avec la littérature publiée.
5. World Health Organization: Tobacco industry interference with tobacco control — Synthèse des stratégies documentées de l’industrie du tabac pour influencer la science et les politiques publiques.
6. Grüning et al. (2006): Tobacco Industry Influence on Science and Scientists in Germany — Analyse de documents internes de l’industrie du tabac, avec un accent particulier sur l’Allemagne.
7. McCambridge et al. (2018): Alcohol industry involvement in science — Revue systématique des préoccupations liées aux conflits d’intérêts et à l’implication de l’industrie dans la recherche sur l’alcool.
8. Kerr (1998): HARKing — Hypothesizing After the Results are Known — Article fondateur sur le concept de HARKing.
9. International Monetary Fund (2013): Statement on Argentina — Censure formelle concernant des données inexactes sur l’IPC et le PIB.
10. Eurostat (2010): Report on Greek government deficit and debt statistics — Rapport sur des problèmes de qualité et de méthode dans les statistiques grecques de déficit et de dette.
11. Center for Open Science: Registered Reports — Modèle de publication où question et méthodes sont évaluées avant que les résultats soient connus.

Ces exemples illustrent des mécanismes. Des problèmes de qualité ou des distorsions documentés ne prouvent pas automatiquement une tromperie délibérée de toutes les personnes impliquées ; l’intention doit être établie séparément.