Wenn Statistiken irreführen: Von ehrlichem Fehler zu bewusster Manipulation

Statistische Fehler im weiteren Sinn

Wenn wir über statistische Fehler sprechen, denken wir zunächst an Fehler innerhalb eines grundsätzlich ehrlichen wissenschaftlichen Prozesses: eine ungeeignete Stichprobe, Messfehler, ein falsches Modell, eine Verwechslung von Korrelation und Kausalität oder eine zu weit reichende Extrapolation. Die Beteiligten wollen die Wirklichkeit möglichst gut beschreiben, machen aber Fehler.

Das ist nur ein Teil des Problems. Zahlen können auch dann ein falsches Bild erzeugen, wenn die Rechnung selbst korrekt ist. Erwartungen eines Forschers, Karriereanreize, Geldgeber, politische Ziele, ideologische Überzeugungen, selektive Veröffentlichung oder eine bewusst gewählte Darstellung können entscheiden, welche Zahlen überhaupt sichtbar werden.

1. Der ehrliche Forscher kann trotzdem voreingenommen sein

Wissenschaftler sind Menschen. Wer eine Hypothese für plausibel hält, kann unbewusst Entscheidungen treffen, die das erwartete Ergebnis begünstigen: Welche Beobachtung gilt als Ausreißer? Welche Untergruppe wird analysiert? Welche Variable wird als Endpunkt gewählt? Wann endet die Datenerhebung? Welche von mehreren statistisch vertretbaren Methoden wird verwendet?

Solche Entscheidungen sind nicht automatisch Betrug. Problematisch wird es, wenn sehr viele analytische Möglichkeiten ausprobiert werden und am Ende nur diejenige berichtet wird, die ein auffälliges Ergebnis liefert. Verwandt damit ist HARKing – „Hypothesizing After the Results are Known“: Eine Hypothese entsteht nach Sichtung der Ergebnisse, wird später aber so dargestellt, als sei sie von Anfang an geplant gewesen. Norbert Kerr prägte den Begriff 1998.

Hier liegt eine wichtige Grauzone zwischen ehrlichem Irrtum und vorsätzlicher Fälschung: Der einzelne Forscher kann subjektiv überzeugt sein, sorgfältig gearbeitet zu haben, während seine Erwartungen dennoch die Auswahl von Analysen und Interpretation beeinflussen.

2. Wenn aus Bias wissenschaftliches Fehlverhalten wird

Eine klare Grenze wird überschritten, wenn Daten erfunden, verändert oder gezielt weggelassen werden, sodass der Forschungsbericht die tatsächlichen Ergebnisse nicht mehr korrekt wiedergibt. Das U.S. Office of Research Integrity unterscheidet ausdrücklich zwischen fabrication (Erfinden von Daten), falsification (Manipulieren oder Weglassen von Daten bzw. Verfahren) und ehrlichem Fehler.

Es ist deshalb sinnvoll, nicht pauschal von „schlechten Wissenschaftlern“ zu sprechen. Zwischen unbewusstem Bestätigungsfehler, fragwürdiger Forschungspraxis und absichtlicher Fälschung liegen verschiedene Stufen – und für einen Vorwurf der bewussten Täuschung braucht man Belege.

3. Der Geldgeber: Zehn Studien – und nur eine wird sichtbar?

Stellen wir uns ein Unternehmen vor, das wissen möchte, ob sein Produkt gesundheitlich unbedenklich oder sogar vorteilhaft ist. Es finanziert zehn Untersuchungen. Neun finden keinen Vorteil oder widersprechen der gewünschten Botschaft; eine liefert ein günstiges Ergebnis. Wenn anschließend vor allem diese eine Studie veröffentlicht, beworben oder gegenüber Politik und Medien zitiert wird, kann ein völlig falscher Gesamteindruck entstehen.

Die Zahl „zehn“ ist hier ein Gedankenbeispiel, nicht die Beschreibung eines bestimmten Falls. Der zugrunde liegende Mechanismus ist jedoch gut dokumentiert: Publikationsbias und selektive Berichterstattung. Eine Cochrane-Auswertung fand, dass klinische Studien mit positiven Ergebnissen deutlich häufiger veröffentlicht wurden als Studien mit negativen oder Null-Ergebnissen. Eine weitere Cochrane-Übersicht zeigte, dass industriegesponserte Arzneimittel- und Medizinproduktstudien häufiger Ergebnisse und Schlussfolgerungen zugunsten des Produkts des Sponsors berichteten als Studien mit anderen Finanzierungsquellen.

Besonders anschaulich ist eine Untersuchung von 74 bei der US-Arzneimittelbehörde FDA registrierten Antidepressiva-Studien. In der veröffentlichten Literatur wirkten 94 % der publizierten Studien positiv. Nach der Bewertung der FDA waren dagegen nur 51 % aller registrierten Studien positiv. 22 negative oder fragliche Studien waren nicht veröffentlicht worden; weitere 11 wurden nach Einschätzung der Autoren in einer Weise publiziert, die einen positiven Ausgang vermittelte. Die Autoren betonten allerdings ausdrücklich, dass ihre Daten nicht entscheiden konnten, ob die Verzerrung durch Autoren, Sponsoren, Zeitschriften oder eine Kombination dieser Faktoren entstanden war.

Tabak: Zweifel als Produkt

Bei der Tabakindustrie ist die Einflussnahme besonders gut dokumentiert, weil durch Gerichtsverfahren große Mengen interner Unternehmensunterlagen öffentlich wurden. Die Weltgesundheitsorganisation beschreibt Strategien, mit denen wissenschaftliche Forschung diskreditiert, Forschung finanziert und politische Entscheidungen beeinflusst wurden. Eine Untersuchung speziell zu Deutschland fasste die in internen Dokumenten erkennbaren Mechanismen in fünf Kategorien zusammen: suppression, dilution, distraction, concealment und manipulation – Unterdrückung, Verwässerung, Ablenkung, Verschleierung und Manipulation.

Das Ziel muss dabei nicht immer sein, eine eindeutig falsche Gegenbehauptung zu beweisen. Es kann genügen, den Eindruck zu erzeugen, die wissenschaftliche Lage sei noch völlig offen. Wer Unsicherheit produziert, kann eine robuste Erkenntnis politisch schwächer erscheinen lassen.

Alkohol: Interessenkonflikte auch ohne nachgewiesene Fälschung

Auch für alkoholfinanzierte Forschung gibt es eine wissenschaftliche Debatte über Interessenkonflikte. Eine systematische Übersichtsarbeit über die Sichtweisen der Alkohol-Forschungsgemeinschaft nennt unter anderem direkte Finanzierung universitärer Forscher, Auftragsforschung, Unterstützung wissenschaftlicher Organisationen und Versuche, die öffentliche Wahrnehmung von Forschung und Alkoholpolitik zu beeinflussen. Das beweist nicht, dass jede industriegeförderte Studie falsch ist. Es ist vielmehr ein Grund, Finanzierung, Studiendesign, vollständige Ergebnisberichterstattung und Unabhängigkeit besonders sorgfältig zu prüfen.

4. Ein verzerrtes System braucht keinen Betrüger

Ein besonders wichtiger Punkt wird leicht übersehen: Ein wissenschaftliches Gesamtsystem kann ein verzerrtes Bild erzeugen, obwohl niemand Daten erfindet. Forscher reichen spektakuläre Ergebnisse eher ein, Zeitschriften finden positive Ergebnisse interessanter, Karriere und Fördermittel belohnen Neuigkeit, und Null-Ergebnisse verschwinden häufiger in Schubladen.

Die Folge ist ein Filter: Von allen durchgeführten Studien gelangen nicht alle mit gleicher Wahrscheinlichkeit in die sichtbare Literatur. Wer später nur die veröffentlichten Arbeiten betrachtet, sieht möglicherweise ein systematisch verschobenes Bild.

Eine Gegenmaßnahme sind Registered Reports. Dabei werden Forschungsfrage und Methode begutachtet, bevor die Ergebnisse bekannt sind. Die grundsätzliche Publikationsentscheidung hängt dadurch weniger davon ab, ob am Ende ein spektakuläres oder „positives“ Ergebnis entsteht.

5. Politische und ideologische Nutzung von Statistik

Politische Manipulation muss nicht bedeuten, dass jemand Zahlen erfindet. Häufiger werden Definitionen, Bezugsgrößen, Zeiträume oder Vergleichsländer so gewählt, dass sie eine gewünschte Geschichte unterstützen. Arbeitslosigkeit kann je nach Definition anders aussehen; Staatsausgaben wirken als absolute Summe anders als als Anteil am Bruttoinlandsprodukt; Kriminalitätszahlen anders als Raten pro 100.000 Einwohner; ein Trend anders, wenn man 2019 statt 2020 als Startjahr wählt.

Auch die Qualität amtlicher Statistik kann selbst zum politischen oder institutionellen Konflikt werden. Der Internationale Währungsfonds verhängte 2013 eine formelle Rüge gegen Argentinien wegen unzutreffender Verbraucherpreis- und BIP-Daten; 2016 wurde sie nach methodischen Verbesserungen aufgehoben. Eurostat veröffentlichte 2010 einen ausführlichen Bericht zu Qualitäts- und Methodenproblemen bei griechischen Defizit- und Schuldenstatistiken. Solche Fälle zeigen, wie zentral unabhängige, transparente statistische Institutionen sind. Sie beweisen für sich allein jedoch noch keine konkrete Absicht einzelner Personen; die Frage nach Vorsatz muss getrennt von der Datenqualität untersucht werden.

6. Cherry-Picking: Alle Zahlen stimmen – und trotzdem stimmt die Geschichte nicht

Für eine irreführende Aussage muss man keine Zahl fälschen. Man kann auswählen:

• das günstige Start- oder Endjahr,
• eine passende Untergruppe statt der Gesamtpopulation,
• relative statt absolute Risiken,
• den Mittelwert statt des Medians – oder umgekehrt,
• absolute Zahlen statt Pro-Kopf-Raten,
• nominale Geldbeträge statt inflationsbereinigter Werte,
• eine günstige Studie aus einer größeren widersprüchlichen Literatur.

Jede einzelne Angabe kann korrekt sein. Die Manipulation steckt dann nicht in der Arithmetik, sondern in der Auswahl des Ausschnitts.

7. Manipulation durch Darstellung

Nach der Auswahl kommt die Präsentation. Eine abgeschnittene y-Achse kann einen kleinen Unterschied dramatisch wirken lassen. Prozentänderungen ohne Ausgangswert können große Effekte suggerieren. Kumulative Zahlen können wie aktuelle Raten wirken. Dreidimensionale Balken und Flächen können Größenverhältnisse optisch verzerren. Eine sehr lange Zeitachse kann einen kurzfristigen Einbruch verschwinden lassen; eine sehr kurze kann ihn zur Katastrophe machen.

Hier lohnt sich die Frage: Welche andere, ebenfalls korrekte Darstellung derselben Daten würde zu einer anderen spontanen Interpretation führen?

8. Die Statistik, die es gar nicht gibt

Noch grundlegender ist die Frage, welche Daten überhaupt erhoben werden. Was nicht gemessen, nicht klassifiziert oder nicht veröffentlicht wird, kann in politischen und gesellschaftlichen Debatten nahezu unsichtbar bleiben. Fehlende Daten müssen keineswegs Ergebnis einer Verschwörung sein: Kosten, schlechte Meldesysteme, uneinheitliche Definitionen oder technische Probleme reichen aus. Aber die Entscheidung, was eine Institution misst und was nicht, bestimmt den Horizont dessen, worüber später „objektiv“ gesprochen werden kann.

Wie kann man sich schützen?

• Finanzierung und Interessenkonflikte prüfen. Wer profitiert von einem bestimmten Ergebnis?
• Nach Vorregistrierung und Studienregistern suchen. So werden auch Studien sichtbar, die später nicht publiziert wurden.
• Primäre Endpunkte und ursprüngliche Analysepläne vergleichen. Wurde die Fragestellung nach Kenntnis der Ergebnisse verändert?
• Null- und Gegenbefunde suchen. Eine einzelne Studie ist selten die gesamte Evidenz.
• Absolute und relative Zahlen vergleichen.
• Alternative Zeiträume, Bezugsgrößen und Darstellungen ausprobieren.
• Methoden und Daten von der Interpretation trennen. Die Schlussfolgerung eines Artikels kann stärker sein als die Daten selbst.
• Unabhängige Replikation, offene Daten und offene Methoden bevorzugen.

Vom Rechenfehler zur Informationsarchitektur

Im engeren Sinn ist ein statistischer Fehler ein Problem der Messung oder Analyse. Im weiteren Sinn kann die Verzerrung an mindestens fünf Stellen entstehen:

1. Messung: Was und wie wird erfasst?
2. Analyse: Welche Modelle, Tests und Untergruppen werden gewählt?
3. Auswahl: Welche Studien und Ergebnisse werden sichtbar?
4. Kommunikation: Wie werden Zahlen gerahmt und visualisiert?
5. Interesse und Absicht: Welche persönlichen, wirtschaftlichen, politischen oder ideologischen Ziele wirken auf die vorherigen Schritte ein?

Damit verschiebt sich die wichtigste Frage. Nicht nur: „Ist die Statistik mathematisch korrekt?“, sondern: „Welcher Prozess hat genau diese Statistik hervorgebracht – und welche alternativen Informationen sehe ich nicht?“

Quellen und weiterführende Literatur

1. U.S. Office of Research Integrity (ORI): Definition of Research Misconduct — Definition wissenschaftlichen Fehlverhaltens; grenzt Fabrikation und Falsifikation ausdrücklich vom ehrlichen Fehler ab.
2. Lundh et al., Cochrane: Industry sponsorship and research outcome — Systematische Übersicht zum Zusammenhang zwischen Industriesponsoring und sponsorfreundlichen Ergebnissen bzw. Schlussfolgerungen.
3. Hopewell et al., Cochrane: Publication bias in clinical trials — Empirische Evidenz dafür, dass positive Studienergebnisse häufiger publiziert werden als negative oder Null-Ergebnisse.
4. Turner et al. (2008): Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy, New England Journal of Medicine — Vergleich von 74 FDA-registrierten Antidepressiva-Studien mit der veröffentlichten Literatur.
5. World Health Organization: Tobacco industry interference with tobacco control — Überblick über dokumentierte Strategien der Tabakindustrie zur Beeinflussung von Wissenschaft und Politik.
6. Grüning et al. (2006): Tobacco Industry Influence on Science and Scientists in Germany — Analyse interner Tabakindustriedokumente mit besonderem Blick auf Deutschland.
7. McCambridge et al. (2018): Alcohol industry involvement in science — Systematische Übersicht zu Interessenkonflikten und Industrieeinfluss in der Alkoholforschung.
8. Kerr (1998): HARKing — Hypothesizing After the Results are Known — Grundlegende Arbeit zum Konzept des HARKing.
9. International Monetary Fund (2013): Statement on Argentina — Formelle Rüge wegen unzutreffender Verbraucherpreis- und BIP-Daten.
10. Eurostat (2010): Report on Greek government deficit and debt statistics — Bericht zu Qualitäts- und Methodenproblemen bei griechischen Defizit- und Schuldenstatistiken.
11. Center for Open Science: Registered Reports — Ansatz, bei dem Fragestellung und Methode vor Kenntnis der Ergebnisse begutachtet werden.

Die Beispiele sollen Mechanismen illustrieren. Dokumentierte Qualitätsprobleme oder Verzerrungen beweisen nicht automatisch vorsätzliche Täuschung durch jede beteiligte Person; Absicht muss gesondert belegt werden.