Quale di queste due sequenze di venti lanci di una moneta vi sembra più casuale?

A
TCTCTCTCTCTCTCTCTCTC

oppure:

B
CTTTCCCTTTTCTTCCTCCT

T significa testa e C croce.

La prima ha una caratteristica rassicurante:

10 teste
10 croci

e non contiene mai due risultati uguali consecutivi.

La seconda contiene invece:

TTT
CCC
TTTT
TT
CC
...

e quindi diversi piccoli gruppi.

Molte persone sono portate a giudicare la prima sequenza più "casuale".

Matematicamente accade quasi il contrario.

La sequenza A è troppo regolare nelle alternanze.

Lo spunto di Maîtriser l'incertain

Nel capitolo dedicato alla nostra cattiva percezione del caso, Mathieu Agelou descrive studi nei quali alle persone vengono mostrate o richieste sequenze binarie e griglie bianche/nere.

Il punto riportato dal libro è preciso: quando cerchiamo di imitare il caso tendiamo a produrre:

troppe alternanze
frequenze troppo equilibrate in piccoli tratti
meno lunghe serie dello stesso simbolo
meno raggruppamenti locali

Agelou chiama questa intuizione distorta attente excessive d'étalement, cioè un'aspettativa eccessiva di dispersione.

Ci aspettiamo che il caso distribuisca gli eventi con una regolarità che un vero processo indipendente non possiede.

Vediamolo con i numeri.

Misuriamo le due sequenze

Per una sequenza di lunghezza 20 ci sono:

19

confini tra un risultato e il successivo.

Chiamiamo alternanza un confine nel quale il simbolo cambia:

T -> C
C -> T

La sequenza A ha:

19 alternanze su 19

quindi tasso di alternanza:

100%

Ha:

20 run

perché ogni simbolo costituisce una run separata di lunghezza 1.

La sua run massima è:

1

La sequenza B ha invece:

9 alternanze su 19
≈
47,37%

e quindi:

10 run

La run più lunga è:

4

e il conteggio globale è:

$$ \begin{gathered} 11 T \ 9 C \end{gathered} $$

Questi numeri sono molto più vicini a ciò che ci aspettiamo da una moneta equa indipendente.

Quante alternanze ci aspettiamo?

Prendiamo un confine qualsiasi tra due lanci consecutivi.

Se il primo risultato è T, il secondo è diverso con probabilità:

$$ 1/2 $$

Se il primo è C, vale ancora:

$$ 1/2 $$

Quindi ogni confine ha probabilità:

$$ 1/2 $$

di essere un'alternanza.

Con 20 lanci abbiamo 19 confini.

Il numero medio di alternanze è perciò:

19 · 1/2
=
9,5

La sequenza B ne ha:

9

La sequenza A:

19

Le run

Una nuova run comincia:

all'inizio della sequenza

e poi ogni volta che compare un'alternanza.

Quindi:

numero di run
=
1 + numero di alternanze

Il numero medio di run in 20 lanci è:

1 + 9,5
=
10,5

Di nuovo:

sequenza B -> 10 run

è vicina alla media teorica.

sequenza A -> 20 run

è un caso estremamente alternato.

La distribuzione esatta delle alternanze

C'è una proprietà elegante.

Una sequenza binaria è completamente determinata da:

il primo simbolo
+
la scelta cambia/non cambia
su ciascuno dei 19 confini

Fissato il primo simbolo, ogni pattern di 19 decisioni:

stesso
diverso

corrisponde a una e una sola sequenza.

Per una moneta equa indipendente queste decisioni hanno probabilità 1/2.

Il numero di alternanze in 20 lanci segue quindi:

A ~ Binomiale(19, 1/2)

e:

$$ P(A=k) = \binom{19}{k} / 2^{19} $$

Non abbiamo bisogno di simularlo.

Quanto è estrema una sequenza troppo alternata?

La sequenza A ha:

19

alternanze.

Esistono soltanto due sequenze perfettamente alternate:

TCTCTC...
CTCTCT...

su tutte le:

2^20
=
1.048.576

sequenze possibili.

Quindi:

P(19 alternanze)
=
2 / 1.048.576
=
1 / 524.288
≈
0,0001907%

Ogni singola sequenza specifica ha naturalmente la stessa probabilità 1/2^20.

Il punto non è quindi dire, dopo averla vista, che quella particolare stringa è "impossibile".

Il confronto corretto usa una proprietà scelta prima:

numero di alternanze

e chiede quanto sia estrema.

Almeno 16 alternanze

Se definiamo prima dell'osservazione:

sequenza molto alternata
=
almeno 16 alternanze su 19

possiamo contare esattamente:

2.320

sequenze su:

1.048.576

quindi:

P(A >= 16)
≈
0,2213%

Una sequenza così alternata è davvero rara sotto il modello di moneta equa indipendente.

Il nostro cervello, invece, tende proprio a costruire sequenze con troppe alternanze perché evita i gruppi.

I cluster sono normali

Passiamo all'altro lato del problema.

Una run è una serie di risultati uguali consecutivi:

TTT

oppure:

CCCC

Quanto è strano avere una run di quattro o cinque risultati uguali in appena 20 lanci?

Possiamo rispondere senza approssimazioni enumerando tutte le:

1.048.576

sequenze.

Run di almeno 4

Le sequenze di 20 lanci che contengono almeno una run lunga 4 o più sono:

805.746

su:

1.048.576

quindi:

P(run massima >= 4)
≈
76,84%

Una serie di quattro risultati uguali non è affatto una stranezza.

È il caso normale.

Run di almeno 5

Per una run lunga almeno 5:

480.670

sequenze sono favorevoli.

Quindi:

P(run massima >= 5)
≈
45,84%

In appena venti lanci, avere da qualche parte cinque risultati uguali consecutivi è quasi un evento da testa o croce.

Run ancora più lunghe

L'enumerazione esatta produce:

P(run massima >= 6)
≈
23,69%

P(run massima >= 7)
≈
11,51%

Questo è il punto più importante dell'articolo:

un processo casuale non cerca di apparire uniforme.

Gli eventi indipendenti non si respingono.

Possono raggrupparsi.

Raro in una posizione fissata non significa raro “da qualche parte”

Bollman considera, per esempio, una sequenza di 14 rossi consecutivi su roulette americana. In un modello ideale con:

$$ P(\text{rosso})=\frac{18}{38}, $$

la probabilità che i prossimi 14 spin fissati in anticipo siano tutti rossi è:

$$ \left(\frac{18}{38}\right)^{14} \approx2{,}86\cdot10^{-5}, $$

cioè circa una possibilità su 34.927.

È raro.

Ma se osserviamo moltissime finestre di 14 spin:

molti tavoli
x
molti giorni
x
molte possibili posizioni iniziali

le occasioni di vedere una run simile aumentano enormemente.

Questa è una distinzione fondamentale:

probabilità di una run
in una posizione fissata prima dei dati

non coincide con:

probabilità di trovare da qualche parte
una run notevole dopo aver osservato una storia enorme.

È lo stesso principio che incontriamo quando cerchiamo pattern dopo aver visto i dati: il numero delle opportunità conta.

Fonte di contesto: Mark Bollman, Mathematics of the Big Four Casino Table Games, cap. 1 e §2.7 sulle streak alla roulette.

Un confronto esatto: finestra fissata contro ricerca “da qualche parte”

Possiamo rendere quantitativa la differenza usando le 20 prove che il nostro programma enumera già completamente.

Se prima di osservare i dati chiediamo che i primi 6 lanci siano tutti uguali, abbiamo soltanto due sequenze favorevoli per quei sei posti:

TTTTTT
CCCCCC

quindi:

$$ P(\text{primi 6 tutti uguali})

\frac{2}{2^{6}}

\frac1{32}

3{,}125%. $$

Se invece osserviamo l'intera sequenza di 20 lanci e chiediamo se esista da qualche parte una run di almeno 6 risultati uguali, l'enumerazione esatta dei $2^{20}$ casi dà:

$$ P(R_{\max}\ge6)

\frac{248384}{1048576} \approx 23{,}6877%. $$

La seconda probabilità è molto più grande perché stiamo dando alla run numerose possibili posizioni in cui comparire.

Non possiamo però calcolarla semplicemente come:

$$ 15\cdot\frac1{32}, $$

anche se una finestra di lunghezza 6 ha 15 possibili punti di partenza: le finestre si sovrappongono e gli eventi sono dipendenti.

Questo è un esempio elementare dell'effetto del guardare altrove (look-elsewhere effect): più posti, soglie, sottogruppi o pattern ispezioniamo, più cresce la probabilità di trovare qualcosa che sembri eccezionale.

Fonte concettuale: David J. Hand, Il caso non esiste, sui molteplici luoghi/opportunità in cui può emergere una coincidenza. I conteggi $248384/2^{20}$ sono ottenuti per enumerazione esatta dal nostro modello.

Anche il perfetto equilibrio 10/10 non è obbligatorio

Su 20 lanci una moneta equa ha valore atteso:

10 teste
10 croci

ma il valore atteso non significa che il conteggio debba essere esattamente quello.

La probabilità di ottenere proprio:

10 teste e 10 croci

è:

C(20,10)/2^20
≈
17,62%

Quindi più dell'80% delle sequenze non è perfettamente bilanciato 10/10.

Una sequenza 11/9, 12/8 o persino più sbilanciata non contraddice l'equità della moneta.

Una run reale che sembrava chiedere compensazione

Il caso di Monte Carlo del 18 agosto 1913, riportato da Kucharski, è quasi un esperimento naturale sulla nostra intuizione.

Alla roulette il nero continuò a uscire. Dopo più di dieci neri consecutivi, molti giocatori aumentarono le puntate sul rosso. La serie arrivò infine a 26 neri di seguito.

La reazione dei giocatori conteneva un passaggio logico non valido:

la run osservata è eccezionale
quindi
il risultato opposto è adesso più probabile

La prima frase può essere vera senza che lo sia la seconda.

Sotto un modello di giri indipendenti, se p è la probabilità del nero su un singolo giro:

$$ P(\text{nero al prossimo giro}\mid\text{run precedente})=p. $$

La storia serve invece a un'altra domanda: quanto è compatibile una run così lunga con il modello che stiamo assumendo?

Sono quindi due livelli diversi:

Questo articolo studia proprio il primo livello senza cadere automaticamente nel secondo.

Fonte di contesto: Adam Kucharski, La scommessa perfetta, cap. 1.

Una run di cinque cambia il lancio successivo?

Supponiamo di osservare:

TTTTT

Sotto il modello:

moneta equa
lanci indipendenti

la probabilità della prossima testa resta:

P(T al prossimo lancio | TTTTT)
=
1/2

Esattamente come prima.

Questo è il punto della gambler's fallacy.

La sequenza passata può sembrarci bisognosa di "compensazione":

ora deve uscire C

ma il meccanismo non possiede memoria.

Ma TTTTT era comunque raro

Non dobbiamo confondere due domande.

La probabilità che i primi cinque lanci siano tutti testa è:

(1/2)^5
=
1/32
≈
3,125%

Ma dopo che abbiamo già osservato quei cinque risultati:

P(prossimo T | TTTTT)
=
1/2

La rarità della storia non modifica il meccanismo del prossimo lancio.

Questa distinzione è esattamente quella che spesso perdiamo quando interpretiamo una streak.

"Dopo cinque teste, allora continuerà"

Possiamo commettere anche l'errore opposto.

Invece di aspettarci una compensazione:

ora deve uscire croce

possiamo convincerci che la serie abbia inerzia:

la moneta è in un momento caldo
quindi uscirà ancora testa

Per una moneta equa indipendente sono due narrazioni opposte costruite sullo stesso errore:

attribuire memoria a un processo che non ne ha

Il prossimo lancio resta 50/50.

Il caso della "mano calda" è più delicato

Agelou discute anche la hot hand nel basket.

Il libro ricorda che un noto studio del 1985 di Gilovich, Vallone e Tversky non trovò correlazione positiva tra tiri successivi e interpretò la mano calda come illusione.

Riporta però anche lavori successivi di Miller e Sanjurjo che hanno contestato il metodo di campionamento di quell'analisi e, correggendo un bias di selezione delle streak, hanno ottenuto conclusioni differenti.

La lezione che ci interessa non è decidere qui la letteratura sul basket.

È una distinzione di modello:

moneta o roulette ideale
-> indipendenza definita dal modello

prestazione umana
-> indipendenza da verificare sui dati

Un giocatore può cambiare:

fiducia
stanchezza
scelta dei tiri
difesa avversaria

e quindi la probabilità del tiro successivo può realmente dipendere dalla storia.

In quel caso applicare automaticamente il modello della moneta sarebbe un errore.

Regressione verso la media non significa “compensazione”

Qui è utile distinguere un'altra idea, discussa da Buchdahl: la regressione verso la media.

Supponiamo che un giocatore abbia una capacità stabile tale da vincere davvero il 55% delle prove, ma in un piccolo campione fortunato ottenga:

70 vittorie su 100

Se selezioniamo il giocatore proprio perché ha prodotto quel risultato estremo, un nuovo campione tenderà in media a essere meno estremo e più vicino al suo livello reale del 55%.

Non perché “dopo tante vittorie siano dovute le sconfitte”.

Il motivo è diverso:

risultato osservato
=
componente persistente
+
rumore casuale

Se scegliamo un caso perché il rumore gli è stato molto favorevole, quel rumore non è obbligato a ripetersi nel campione successivo.

Quindi:

La seconda è un fenomeno statistico reale; la prima è un errore quando il processo è indipendente.

Il prossimo articolo sulla selezione ex post userà proprio questo meccanismo in forma completamente calcolabile.

Come misurare una possibile dipendenza

Una misura operativa molto semplice è confrontare:

P(T prossimo | T corrente)

con:

P(T prossimo | C corrente)

In una lunga sequenza generata da una moneta equa indipendente ci aspettiamo entrambe vicine a:

$$ 1/2 $$

Equivalentemente:

P(prossimo simbolo diverso dal precedente)
≈
1/2

Se un processo ha vera persistenza, per esempio tende a ripetere il simbolo precedente nel 70% dei casi, il tasso di alternanza scende verso:

30%

Il pattern diventa più "a blocchi" per una ragione reale:

i risultati non sono indipendenti

A quel punto i cluster non sono soltanto normale casualità i.i.d. (independent and identically distributed, cioè prove indipendenti e identicamente distribuite): il modello è cambiato.

Il C# misura prima di interpretare

Lo standalone C# associato a questo articolo è:

StreakRunCasualita.cs

L'esempio allegato contiene una funzione:

AnalizzaSequenza(...)

che restituisce:

numero di T
numero di C
alternanze
tasso di alternanza
numero di run
run massima

Applicata alle nostre due sequenze restituisce:

A:
10 T, 10 C
19 alternanze
20 run
run max 1

B:
11 T, 9 C
9 alternanze
10 run
run max 4

Poi il programma enumera tutte le sequenze binarie di lunghezza 20.

Enumerazione completa, non Monte Carlo

Per n=20 abbiamo:

2^20
=
1.048.576

casi.

È abbastanza piccolo da poter essere visitato integralmente.

Quindi il programma può calcolare esattamente:

distribuzione delle alternanze
distribuzione della run massima
distribuzione del numero di teste

senza errore statistico.

Ancora una volta applichiamo la regola già fissata nel confronto tra calcolo esatto e Monte Carlo:

se l'enumerazione completa è pratica,
non serve simulare per conoscere la risposta

Un controllo sul tasso di alternanza

Il programma verifica:

E[alternanze]
=
9,5

e quindi:

E[run]
=
10,5

Verifica inoltre:

P(almeno 16 alternanze)
≈
0,2213%

mentre:

P(run massima >= 4)
≈
76,84%

La sequenza umanamente "ordinata" è quindi molto più anomala della sequenza piena di piccoli gruppi.

L'analogo spaziale

Agelou usa anche un esempio storico in due dimensioni: la distribuzione degli impatti delle bombe V1 su Londra.

Nel racconto del libro, le concentrazioni di impatti sembravano troppo irregolari per essere casuali, ma il confronto di Robert Clarke con una distribuzione di Poisson risultò compatibile con un meccanismo casuale.

Non riproduciamo qui quel calcolo, perché richiederebbe introdurre e sviluppare la distribuzione di Poisson.

Ci interessa il principio comune:

casuale
non significa
spaziato regolarmente

Lo vediamo nelle date, nelle celle di una griglia e nelle run di una sequenza.

Attenzione alle regole scelte dopo aver visto i dati

Ogni sequenza specifica di 20 lanci equi ha probabilità:

$$ 1/2^{20} $$

Quindi dopo aver osservato una stringa complessa possiamo sempre inventare una descrizione che la faccia sembrare straordinaria.

Per esempio:

"esattamente TTTT, poi C, poi..."

è inevitabilmente rarissima.

Una valutazione seria deve specificare prima una statistica rilevante:

numero di alternanze
run massima
numero di teste

e poi chiedere quanto quel valore sia insolito.

È la stessa cautela che ci servirà nel prossimo articolo quando proveremo molti sistemi e selezioneremo soltanto quello che sembra funzionare meglio.

Il punto operativo

La casualità reale produce:

alternanze
e
cluster

Non c'è alcun meccanismo che obblighi una moneta equa a distribuire ordinatamente T e C.

Su 20 lanci:

alternanze attese:
9,5 su 19

Una run di almeno 4 compare nel:

76,84%

delle sequenze.

Una run di almeno 5 nel:

45,84%

Una sequenza con almeno 16 alternanze su 19 compare invece soltanto nello:

0,2213%

dei casi.

Quindi:

una sequenza con piccoli blocchi può essere più rappresentativa del caso di una sequenza che alterna troppo bene.

Ma questa conclusione vale sotto un modello preciso:

prove indipendenti
probabilità costante

Se il processo può avere memoria o cambiare stato, come una prestazione umana, l'indipendenza deve essere verificata e non assunta.

Nel prossimo articolo useremo proprio il rischio opposto: invece di vedere un pattern dentro una singola sequenza, proveremo molti sistemi e sceglieremo a posteriori quello che ha ottenuto il risultato migliore.

Vedremo quanto sia facile "scoprire" una strategia apparentemente vincente anche quando nessuna possiede un vero vantaggio.