Quando la maggioranza è più saggia degli esperti?

Quando molte persone votano, gli errori individuali possono compensarsi a vicenda. Ma succede sempre? E un gruppo molto numeroso di persone soltanto moderatamente informate può superare un piccolo gruppo di ottimi esperti?

La risposta è sorprendente: sì — sotto specifiche ipotesi matematiche. Queste ipotesi sono così importanti che il risultato non dovrebbe essere trasformato in un semplice argomento politico.

Un modello semplice

Supponiamo che ogni decisore risponda a una domanda fattuale per la quale esiste una risposta corretta verificabile. Indichiamo con p la probabilità che una singola persona risponda correttamente.

Con tre decisori indipendenti, la maggioranza è corretta se esattamente due oppure tutti e tre rispondono correttamente:

P₃(p) = 32 · p² · (1−p) + p³

Il coefficiente binomiale 32 = 3 si legge “3 su 2”: esistono tre possibilità di scegliere quali due delle tre persone abbiano ragione. Il fattore p² rappresenta due decisioni corrette, mentre (1−p) rappresenta una decisione errata.

Per un numero dispari n di decisori indipendenti, l’espressione generale è:

P_n(p) = Σ_k=(n+1)/2ⁿ nk · p^k · (1−p)^n−k

Qui nk è il coefficiente binomiale “n su k”: il numero di modi in cui possono verificarsi esattamente k decisioni corrette tra n decisori.

La soglia è il 50 per cento

Se p > 0,5, il voto di maggioranza diventa più affidabile al crescere del gruppo.
Se p = 0,5, un gruppo più grande non offre alcun vantaggio.
Se p < 0,5, una maggioranza più grande diventa sempre più affidabile nel dare la risposta sbagliata.

Probabilità che la maggioranza sia corretta per diverse dimensioni del gruppo — Più il gruppo è grande, più viene amplificato un piccolo vantaggio individuale sopra il 50 per cento — e lo stesso vale per uno svantaggio sotto il 50 per cento.

Un esperimento mentale: 11 scienziati contro 1.001 cittadini

Supponiamo, in modo puramente ipotetico, che 11 scienziati abbiano ciascuno una probabilità individuale di p_E = 0,80 di rispondere correttamente a una domanda fattuale ben definita.

Sotto l’ipotesi idealizzata di errori indipendenti, la probabilità che la maggioranza di questi 11 esperti abbia ragione è di circa 98,83 per cento.

Domanda: Quanto dovrebbe essere accurato un singolo cittadino affinché un gruppo di 1.001 cittadini raggiunga la stessa affidabilità?

Il risultato è soltanto circa p_V = 0,5358, cioè un’accuratezza individuale del 53,58 per cento.

Confronto tra 1.001 cittadini e 11 esperti — Sotto l’ipotesi idealizzata di indipendenza, un gruppo molto numeroso può eguagliare un gruppo molto più piccolo di decisori individualmente assai più accurati.

All’inizio può sembrare paradossale. Il singolo cittadino è soltanto poco migliore del caso. Ma se un numero molto grande di decisioni è davvero indipendente, diventa estremamente improbabile che più della metà siano sbagliate nello stesso momento. Questa idea è strettamente legata al teorema della giuria di Condorcet.

Rovesciamo la domanda

Fissiamo ora la probabilità individuale dei cittadini a p_V = 0,55. Quanti cittadini sono necessari per eguagliare gruppi di esperti i cui membri hanno ciascuno p_E = 0,80?

Gruppo di esperti	Cittadini necessari con p = 0,55
3 esperti	159
5 esperti	247
11 esperti	513
21 esperti	957

Numero di cittadini necessari per diverse dimensioni dei gruppi di esperti — Più la maggioranza degli esperti è già affidabile, più grande deve diventare il gruppo di confronto con minore accuratezza individuale.

Il punto cruciale: l’indipendenza

La matematica è corretta, ma la sua ipotesi più importante è anche la più problematica: gli errori dei decisori devono essere sufficientemente indipendenti.

Se 1.000 persone si affidano alla stessa fonte falsa, non abbiamo 1.000 giudizi indipendenti. Media condivisi, reti sociali, campagne politiche, voci e presupposti culturali possono rendere gli errori fortemente correlati.

Lo stesso problema riguarda i gruppi di esperti. Gli scienziati possono leggere le stesse pubblicazioni, utilizzare modelli simili oppure condividere errori sistematici di misurazione.

Ciò che conta, quindi, non è soltanto quante persone decidono, ma anche quanto siano indipendenti i loro percorsi informativi e i loro errori.

Le domande fattuali non sono domande di valore

Il modello presuppone che esista una risposta corretta oggettivamente verificabile. Per molte questioni scientifiche e tecniche questo ha almeno, in linea di principio, un significato chiaro.

Le decisioni politiche, però, contengono spesso anche giudizi di valore. La scienza può studiare conseguenze probabili, rischi e costi, ma non può determinare da sola quali obiettivi una società debba perseguire o come debbano essere ponderati interessi concorrenti.

L’esperimento mentale non dimostra quindi né che i referendum siano superiori agli esperti né che gli esperti debbano sostituire le decisioni democratiche.

Ritorno alle Random Forest

Il punto di partenza di questo esperimento mentale era un metodo di machine learning: la Random Forest. Essa combina molti alberi decisionali. Gli alberi non dovrebbero soltanto essere ragionevolmente buoni; attraverso campioni bootstrap e selezione casuale delle caratteristiche dovrebbero anche commettere errori differenti.

Negli ensemble efficaci interagiscono tre fattori: qualità individuale, dimensione del gruppo e diversità degli errori.

Molti decisori sufficientemente buoni e il più possibile indipendenti possono diventare insieme sorprendentemente forti.