Frequentismo vs bayesianismo: due modi di leggere l’incertezza

Nel binario ml-tabellare, dove le decisioni nascono da tabelle e test, chi prende decisioni sui dati prima o poi si scontra con un risultato ambiguo. Un caso tipico è un A/B test con un p-value appena sotto la soglia. Il punto non è eleggere una scuola statistica vincente. Il punto è capire quale linguaggio dell’incertezza rende la decisione più trasparente e meno fragile. Frequentismo e bayesianismo rispondono alla stessa domanda in modi diversi. Vale la pena sapere cosa promette ciascuno prima di fidarsene.

Due linguaggi in una frase

Frequentismo e bayesianismo sono due linguaggi dell’incertezza: il primo misura quanto spesso un risultato apparirebbe per caso, il secondo aggiorna quanto credere a un’ipotesi alla luce dei dati. La differenza non è matematica, è filosofica: cambia la domanda a cui la probabilità risponde.

Due definizioni di probabilità

La probabilità si può interpretare in due modi molto distanti tra loro:

	Frequentismo	Bayesianismo
Definizione	Frequenza limite in infinite ripetizioni	Grado di credenza, aggiornabile con i dati
Risposta a	Quanto spesso vedrei questo risultato ripetendo l’esperimento infinite volte	Quanto sono certo che l’ipotesi sia vera, dati questi dati
Parametri	Fissi ma sconosciuti	Variabili con distribuzioni
Strumenti	p-value, intervalli di confidenza	Distribuzione a posteriori, intervalli credibili
Esempio	Probabilità 4% di osservare questi dati se l’ipotesi nulla è vera	Probabilità 67% che l’effetto sia tra +1% e +3%

Scambiare una interpretazione per l’altra è la fonte degli errori più frequenti.

Verdetto: usa il frequentismo per controllare l’errore su decisioni ripetibili e il bayesianismo per aggiornare una decisione singola con quello che sai già.

Il problema del p-value

Il p-value misura la probabilità di osservare dati estremi almeno quanto quelli ottenuti, ammesso che l’ipotesi nulla sia vera. L’ipotesi nulla è l’ipotesi di assenza di effetto che il test prova a smentire. Il p-value non dice quanto sia probabile che l’ipotesi nulla sia vera e non misura l’entità dell’effetto. Eppure viene letto di continuo come se facesse l’una o l’altra cosa, e da lì nascono le decisioni sbagliate.

Esempio: prendi 20 A/B test, 19 nulli e 1 reale. Se pubblichi solo quelli con p < 0.05, circa metà dei risultati che chiami significativi possono essere falsi positivi. Letto fuori dal suo contesto, il p-value inganna.

L’aggiornamento bayesiano

Il bayesianismo aggiorna le credenze in modo esplicito, passo dopo passo. Si parte dal prior, cioè la convinzione che hai prima di vedere i dati. Un esempio è l’idea che gli effetti piccoli o nulli siano più probabili. Poi entra la likelihood, cioè la probabilità dei dati dati i parametri. La combinazione delle due produce il posterior, cioè la convinzione aggiornata dopo aver visto i dati. Quel posterior diventa il prior del test successivo, così l’apprendimento si accumula.

Il vantaggio è che risponde direttamente alle domande che servono per decidere, come la probabilità che una variante sia davvero migliore.

Come scegliere e applicare il linguaggio giusto

1. Dichiara la decisione e la soglia pratica che la farebbe cambiare.
2. Scegli il linguaggio: controllo dell’errore su prove ripetute oppure aggiornamento di una credenza con dati nuovi.
3. Nel primo caso fissa ipotesi nulla, soglia e piano di analisi prima di guardare i dati.
4. Nel secondo caso dichiara il prior, combina i dati osservati e leggi il posterior come probabilità sulla decisione.
5. Riporta sempre entità dell’effetto e incertezza, mai solo una soglia superata.

Errore tipico da evitare

Frequentismo e bayesianismo non sono definizioni astratte da mandare a memoria. Sono protocolli decisionali. Quando presenti una metrica senza baseline, un grafico senza ipotesi o una raccomandazione senza stimare il costo dell’errore, ottieni una decisione che sembra solida ma non lo è.

Il controllo che conviene farsi è semplice: se questo risultato fosse falso o instabile, quale decisione sbaglieresti. Se non sai rispondere, la lezione è rimasta sulla carta.

Riferimenti: Efron, B. e Hastie, T. (2016). Computer Age Statistical Inference. Cambridge University Press. McElreath, R. (2020). Statistical Rethinking, 2nd ed. CRC Press.

La replica che ha scosso la psicologia

Nel 2015 la rivista Science pubblicò il lavoro dell’Open Science Collaboration, che aveva replicato cento studi di psicologia seguendo i protocolli originali. Solo circa un terzo produsse di nuovo un risultato significativo, nonostante quasi tutti gli originali superassero la soglia convenzionale. La lezione è frequentista nel metodo e bayesiana nella morale: un singolo superamento di soglia dice poco, mentre la credenza va aggiornata con repliche indipendenti e prior onesti.

Domande per chiudere la lezione

1. La tua domanda chiede quanto spesso sbaglieresti ripetendo la prova oppure quanto credere all’ipotesi ora?
2. Quale soglia pratica rende l’effetto rilevante per la decisione, oltre che significativo?
3. Quale prior stai usando, anche se non lo hai dichiarato?
4. Quale replica indipendente ti farebbe cambiare idea sul risultato?