Domande causali e ipotesi business ben formulate

Questa lezione segue il binario ml-tabellare: ogni ipotesi si riduce a una riga precisa, con meccanismo, metrica e decisione scritti prima di guardare i dati.

L’idea in una frase

Una buona ipotesi collega un comportamento osservabile a un meccanismo dichiarato e alla decisione che scatterà se l’evidenza regge.

La procedura in cinque passi

1. Nomina la decisione che cambierà in base all’esito del test.
2. Descrivi il comportamento da spostare e il meccanismo che dovrebbe spostarlo.
3. Traduci il meccanismo in metrica primaria, unità di analisi e direzione attesa.
4. Scrivi prima del lancio cosa farai se il segnale regge e cosa farai se non regge.
5. Dichiara i guardrail che invaliderebbero la lettura anche con segnale positivo.

Il problema reale

Molti esperimenti partono da una variante già decisa e cercano dopo una metrica favorevole. Una domanda causale ben formulata ribalta l’ordine. Prima chiarisci quale comportamento vuoi cambiare, perché dovrebbe cambiare e quale decisione prenderai se arriva l’evidenza.

Una buona ipotesi rende falsificabile la storia business. Impedisce di cambiare domanda quando il risultato non piace. Senza questo vincolo, il team riscrive l’ipotesi a posteriori e chiama il rumore apprendimento.

Il fallimento tipico è condiviso: tutti dicono che la formulazione conta, ma nessuno la lega a una decisione. Le priorità seguono il rumore del momento, le letture non sono confrontabili e la responsabilità si sposta appena il risultato delude.

Il modello di lavoro

Conviene leggere una domanda causale come un ponte tra contesto, misura e azione. Separa quattro blocchi: la decisione da supportare, i segnali osservabili, il meccanismo che collega segnali e decisione e i guardrail che limitano gli errori di lettura.

Questa separazione obbliga a nominare il meccanismo, non solo la variante. Se non sai dire perché il comportamento dovrebbe spostarsi, non hai un’ipotesi. Hai solo una preferenza da testare.

Parti dalla decisione: che cosa cambia se formuliamo meglio la domanda causale? Poi individua il segnale osservabile, la baseline di confronto, i vincoli che possono falsare la lettura e l’azione che segue. Ogni blocco deve avere una risposta scritta prima del lancio.

La formalizzazione

Formalizzare rende visibili le assunzioni. Così uno stakeholder discute il criterio decisionale invece di accettare il risultato per autorità. Il criterio resta semplice.

Se due esperti leggono la stessa definizione e guardano lo stesso materiale, devono arrivare a conclusioni comparabili sugli stessi trade-off. Senza definizioni stabili, la stessa metrica sostiene conclusioni opposte.

Serve definire l’unità di analisi, la variabile osservata, la baseline, la soglia decisionale e il rischio residuo. Ogni elemento ha un controllo minimo: una definizione stabile e tracciabile, un criterio scritto prima della lettura, una verifica di sensibilità.

Il caso del banner

La richiesta iniziale è generica: “testiamo il nuovo banner”. L’ipotesi ben formulata è specifica: “rendere più esplicito il valore riduce l’abbandono tra utenti nuovi prima del primo progetto”. Il caso mostra la differenza tra variante e meccanismo.

La prima versione misura un oggetto grafico. La seconda misura un comportamento, dichiara perché dovrebbe spostarsi e indica dove leggerlo. Solo la seconda è falsificabile.

Pensa alle situazioni tipiche. Se il dato migliora ma la baseline è debole, il segnale potrebbe essere reale o dipendere dal campione: rafforza il confronto prima di scalare. Se la metrica cambia in un solo segmento, l’effetto medio nasconde eterogeneità: separa coorti o casi d’uso. Se il costo operativo aumenta, valuta il beneficio sul margine. Se il sistema produce numeri incoerenti, correggi ownership e controlli prima di decidere.

L’errore tipico da evitare

L’errore più frequente è scambiare familiarità con comprensione. I concetti più citati richiedono più rigore proprio perché muovono più decisioni e più risorse. In pratica l’errore appare quando il team presenta un numero senza contesto decisionale.

Manca la decisione che cambia, manca la baseline che rende il numero interpretabile e manca il rischio residuo. Il dato sembra preciso ma non guida l’azione.

Verdetto: un’ipotesi senza decisione collegata e senza esito prestabilito per ogni risultato è solo una frase, non un’ipotesi.

Il caso Obama 2008

La campagna presidenziale di Barack Obama del 2008 testò sistematicamente testi dei pulsanti e immagini della pagina di iscrizione prima di estendere la combinazione vincente a tutto il traffico. L’ipotesi era esplicita: cambiare messaggio e media avrebbe spostato il comportamento di iscrizione e donazione, e la decisione conseguente era già scritta, adottare la variante migliore su scala nazionale. Il test trasformò un’opinione di comunicazione in una decisione misurata di raccolta fondi. La lezione del caso è che l’ipotesi vale quando dichiara meccanismo, metrica e mossa successiva prima di vedere i dati.

Domande per verificare la lezione

1. Quale decisione deve cambiare se l’ipotesi è confermata?
2. Che cosa distingue una domanda causale da una metrica interessante?
3. Perché la direzione attesa va scritta prima di guardare i dati?
4. Quale guardrail potrebbe annullare un segnale positivo sulla metrica primaria?