Wann ist die Mehrheit klüger als die Experten?

Wenn viele Menschen abstimmen, können sich Fehler einzelner Personen gegenseitig ausgleichen. Aber gilt das immer? Und kann eine sehr große Gruppe von nur mäßig gut informierten Menschen sogar eine kleine Gruppe sehr guter Experten übertreffen?

Die Antwort ist überraschend: Ja – unter bestimmten mathematischen Voraussetzungen. Genau diese Voraussetzungen sind allerdings so wichtig, dass aus dem Ergebnis kein einfaches politisches Argument abgeleitet werden darf.

Ein einfaches Modell

Wir nehmen an, dass jeder Entscheider eine sachlich überprüfbare Frage beantworten soll. Für jeden Einzelnen sei die Wahrscheinlichkeit einer richtigen Antwort gleich p.

Bei drei unabhängigen Entscheidern ist die Mehrheit richtig, wenn genau zwei oder alle drei richtig liegen:

P₃(p) = 32 · p² · (1−p) + p³

Der Binomialkoeffizient 32 = 3 wird „3 über 2“ gelesen: Es gibt drei Möglichkeiten, welche zwei der drei Personen richtig liegen. Der Faktor p² steht für zwei richtige Entscheidungen, (1−p) für eine falsche.

Allgemein gilt für eine ungerade Zahl n von unabhängigen Entscheidern:

P_n(p) = Σ_k=(n+1)/2ⁿ nk · p^k · (1−p)^n−k

Dabei bezeichnet nk den Binomialkoeffizienten „n über k“ – also die Anzahl der Möglichkeiten, genau k richtige Entscheidungen unter n Entscheidern anzuordnen.

Die Schwelle liegt bei 50 Prozent

Für p > 0,5 wird die Mehrheitsentscheidung mit wachsender Gruppengröße zuverlässiger.
Für p = 0,5 bringt die Gruppe keinen Vorteil.
Für p < 0,5 wird die Mehrheit mit wachsender Gruppengröße sogar immer zuverlässiger falsch.

Trefferwahrscheinlichkeit der Mehrheit für verschiedene Gruppengrößen in Abhängigkeit von p — Je größer die Gruppe, desto stärker wird ein individueller Vorteil über 50 Prozent verstärkt – aber ebenso ein Nachteil unter 50 Prozent.

Gedankenexperiment: 11 Wissenschaftler gegen 1001 Bürger

Nehmen wir rein hypothetisch an, 11 Wissenschaftler hätten bei einer klar definierten Sachfrage jeweils eine individuelle Trefferwahrscheinlichkeit von p_E = 0,80.

Unter der idealisierten Annahme unabhängiger Fehler beträgt die Wahrscheinlichkeit, dass die Mehrheit dieser 11 Experten richtig entscheidet, etwa 98,83 Prozent.

Frage: Wie gut müsste ein einzelner Bürger sein, damit eine Gruppe von 1001 Bürgern dieselbe Zuverlässigkeit erreicht?

Die Rechnung ergibt nur etwa p_V = 0,5358, also 53,58 Prozent individuelle Trefferwahrscheinlichkeit.

Vergleich von 1001 Bürgern mit 11 Experten — Unter idealisierter Unabhängigkeit kann eine sehr große Gruppe einen kleineren Kreis wesentlich besserer Entscheider einholen.

Das wirkt zunächst paradox. Der einzelne Bürger liegt nur wenig besser als zufällig richtig. Wenn aber sehr viele solcher Entscheidungen tatsächlich unabhängig voneinander sind, wird es extrem unwahrscheinlich, dass mehr als die Hälfte gleichzeitig falsch liegt. Diese Idee steht in engem Zusammenhang mit dem Condorcet-Jury-Theorem.

Die Frage anders herum

Nun fixieren wir die individuelle Trefferwahrscheinlichkeit der Bürger bei p_V = 0,55. Wie viele Bürger werden benötigt, um verschieden große Expertengruppen mit jeweils p_E = 0,80 einzuholen?

Expertengruppe	Benötigte Bürger bei p = 0,55
3 Experten	159
5 Experten	247
11 Experten	513
21 Experten	957

Benötigte Bürgerzahl für verschieden große Expertengruppen — Je zuverlässiger die Expertenmehrheit bereits ist, desto größer muss die weniger kompetente Vergleichsgruppe werden.

Der entscheidende Haken: Unabhängigkeit

Die Mathematik ist korrekt. Ihre wichtigste Voraussetzung ist jedoch zugleich die problematischste: Die Fehler der Entscheider müssen hinreichend unabhängig voneinander sein.

Wenn 1000 Menschen dieselbe falsche Informationsquelle verwenden, besitzen wir nicht 1000 unabhängige Urteile. Gemeinsame Medien, soziale Netzwerke, politische Kampagnen, Gerüchte oder kulturelle Vorannahmen können Fehler stark korrelieren.

Dasselbe gilt auch für Expertengruppen. Wissenschaftler können dieselben Publikationen lesen, ähnliche Modelle verwenden oder gemeinsame systematische Messfehler übernehmen.

Entscheidend ist daher nicht nur, wie viele Menschen entscheiden, sondern auch, wie unabhängig ihre Informationswege und Fehler sind.

Sachfragen sind nicht dasselbe wie Wertfragen

Das Modell setzt voraus, dass es überhaupt eine objektiv überprüfbare richtige Antwort gibt. Bei wissenschaftlichen und technischen Sachfragen ist diese Vorstellung zumindest prinzipiell sinnvoll.

Politische Entscheidungen enthalten dagegen häufig zusätzlich Werturteile. Wissenschaft kann untersuchen, welche Folgen eine Maßnahme wahrscheinlich hat, welche Risiken bestehen oder welche Kosten zu erwarten sind. Sie kann aber nicht allein bestimmen, welche Ziele eine Gesellschaft verfolgen soll oder wie unterschiedliche Interessen gewichtet werden.

Aus dem Gedankenexperiment folgt deshalb weder, dass Volksbefragungen Experten überlegen seien, noch dass Experten demokratische Entscheidungen ersetzen sollten.

Zurück zum Random Forest

Der Ausgangspunkt dieses Gedankenexperiments war ein Verfahren des maschinellen Lernens: der Random Forest. Er kombiniert viele Entscheidungsbäume. Die Bäume sollen nicht nur brauchbar sein, sondern durch Bootstrap-Stichproben und zufällige Feature-Auswahl auch unterschiedliche Fehler machen.

Für erfolgreiche Ensembles spielen drei Faktoren zusammen: individuelle Qualität, Gruppengröße und Diversität der Fehler.

Viele ausreichend gute und möglichst unabhängige Entscheider können gemeinsam erstaunlich stark sein.