Frequentism vs Bayesianism: two ways to interpret uncertainty

Nel binario ml-tabellare, dove le decisioni nascono da tabelle e test, chi prende decisioni sui dati prima o poi si scontra con un risultato ambiguo. Un caso tipico è un A/B test with a p-value appena sotto la soglia. Il punto non è eleggere una scuola statistica vincente. Il punto è capire quale linguaggio dell’incertezza rende la decisione più trasparente e meno fragile. Frequentismo e bayesianismo rispondono alla stessa domanda in modi diversi. Vale la pena sapere cosa promette ciascuno prima di fidarsene.

Due linguaggi in una frase

Frequentismo e bayesianismo sono due linguaggi dell’incertezza: il primo misura quanto spesso un risultato apparirebbe per caso, il secondo aggiorna quanto credere a un’ipotesi alla luce dei dati. La differenza non è matematica, è filosofica: cambia la domanda a cui la probabilità risponde.

Two definitions of probability

La probabilità si può interpretare in due modi molto distanti tra loro:

	Frequentism	Bayesianism
Definition	Limit frequency in infinite repetitions	Grado di credenza, aggiornabile con i dati
Answer to	Quanto spesso vedrei questo risultato ripetendo l’esperimento infinite volte	Quanto sono certo che l’ipotesi sia vera, dati questi dati
Parameters	Fixed but unknown	Variabili con distribuzioni
Tools	p-value, confidence intervals	Posterior distribution, credible intervals
Example	Probabilità 4% di osservare questi dati se l’ipotesi nulla è vera	Probabilità 67% che l’effetto sia tra +1% e +3%

Scambiare una interpretazione per l’altra è la fonte degli errori più frequenti.

Verdetto: usa il frequentismo per controllare l’errore su decisioni ripetibili e il bayesianismo per aggiornare una decisione singola con quello che sai già.

Il problema del p-value

The p-value misura la probabilità di osservare dati estremi almeno quanto quelli ottenuti, ammesso che l’ipotesi nulla sia vera. L’ipotesi nulla è l’ipotesi di assenza di effetto che il test prova a smentire. Il p-value non dice quanto sia probabile che l’ipotesi nulla sia vera e non misura l’entità dell’effetto. Eppure viene letto di continuo come se facesse l’una o l’altra cosa, e da lì nascono le decisioni sbagliate.

Esempio: prendi 20 A/B test, 19 nulli e 1 reale. Se pubblichi solo quelli con p < 0.05, circa metà dei risultati che chiami significativi possono essere falsi positivi. Letto fuori dal suo contesto, il p-value inganna.

L’aggiornamento bayesiano

Il bayesianismo aggiorna le credenze in modo esplicito, passo dopo passo. Si parte dal prior, cioè la convinzione che hai prima di vedere i dati. Un esempio è l’idea che gli effetti piccoli o nulli siano più probabili. Poi entra la likelihood, cioè la probabilità dei dati dati i parametri. La combinazione delle due produce il posterior, cioè la convinzione aggiornata dopo aver visto i dati. Quel posterior diventa il prior del test successivo, così l’apprendimento si accumula.

Il vantaggio è che risponde direttamente alle domande che servono per decidere, come la probabilità che una variante sia davvero migliore.

Come scegliere e applicare il linguaggio giusto

1. Dichiara la decisione e la soglia pratica che la farebbe cambiare.
2. Scegli il linguaggio: controllo dell’errore su prove ripetute oppure aggiornamento di una credenza con dati nuovi.
3. Nel primo caso fissa ipotesi nulla, soglia e piano di analisi prima di guardare i dati.
4. Nel secondo caso dichiara il prior, combina i dati osservati e leggi il posterior come probabilità sulla decisione.
5. Riporta sempre entità dell’effetto e incertezza, mai solo una soglia superata.

Typical mistake to avoid

Frequentismo e bayesianismo non sono definizioni astratte da mandare a memoria. Sono protocolli decisionali. Quando presenti una metrica senza baseline, un grafico senza ipotesi o una raccomandazione senza stimare il costo dell’errore, ottieni una decisione che sembra solida ma non lo è.

Il controllo che conviene farsi è semplice: se questo risultato fosse falso o instabile, quale decisione sbaglieresti. Se non sai rispondere, la lezione è rimasta sulla carta.

References: Efron, B. e Hastie, T. (2016). Computer Age Statistical Inference. Cambridge University Press. McElreath, R. (2020). Statistical Rethinking, 2nd ed. CRC Press.

La replica che ha scosso la psicologia

Nel 2015 la rivista Science pubblicò il lavoro dell’Open Science Collaboration, che aveva replicato cento studi di psicologia seguendo i protocolli originali. Solo circa un terzo produsse di nuovo un risultato significativo, nonostante quasi tutti gli originali superassero la soglia convenzionale. La lezione è frequentista nel metodo e bayesiana nella morale: un singolo superamento di soglia dice poco, mentre la credenza va aggiornata con repliche indipendenti e prior onesti.

Domande per chiudere la lezione

1. La tua domanda chiede quanto spesso sbaglieresti ripetendo la prova oppure quanto credere all’ipotesi ora?
2. Quale soglia pratica rende l’effetto rilevante per la decisione, oltre che significativo?
3. Quale prior stai usando, anche se non lo hai dichiarato?
4. Quale replica indipendente ti farebbe cambiare idea sul risultato?