Measurement theory: cosa significa misurare bene

Nel binario tabellare si lavora con misure ogni giorno, eppure la domanda più importante è anche la prima che si salta: cosa stiamo misurando davvero? Misurare non vuol dire contare. Vuol dire catturare il concetto che interessa davvero. Un team vuole misurare l’engagement contando i minuti nell’app e scopre che un utente confuso resta dentro più a lungo di uno soddisfatto: la metrica è precisa ma misura la cosa sbagliata. La measurement theory studia proprio questo scarto tra ciò che misuri e ciò che vorresti misurare.

Il paradosso è noto a chiunque abbia mai aperto una dashboard: i numeri sono impeccabili e il senso è da un’altra parte. La differenza tra una metrica buona e una dannosa raramente sta nella precisione del conteggio. Sta nella fedeltà al concetto.

La definizione di partenza

Misurare bene significa dimostrare che il numero usato cattura davvero il concetto dichiarato e che cambia la decisione da prendere. Se manca l’una o l’altra delle due condizioni, il numero è rumore ben vestito.

Come si valida una misura

1. Scrivi il concetto che vuoi cogliere in una frase senza nominare metriche.
2. Scegli la proxy candidata e dichiara cosa include e cosa esclude.
3. Confronta proxy e concetto su un campione verificato e misura lo scarto.
4. Fissa baseline, granularità e soglia decisionale prima di usare la proxy in produzione.
5. Verifica che l’azione guidata dalla proxy sia lecita e proporzionata al suo errore noto.

Concetto, proxy e rischio

Ogni proxy tradisce il concetto in un punto diverso. Il lavoro sta nel sapere dove, perché solo chi conosce il punto di rottura può decidere se convivere con esso.

Concetto	Proxy tipica	Rischio
Engagement	Minuti passati nell’app	La confusione trattiene più della soddisfazione
Retention	Accessi registrati nel periodo	Attività apparente senza valore reale
Fase di vita del cliente	Prodotti acquistati di recente	Inferenza corretta usata per azioni invasive

Verdetto: una proxy vale solo se conosci il suo scarto dal concetto e se l’azione che guida resta proporzionata a quello scarto.

Evidenza, interpretazione, decisione

Un comitato legge una crescita di retention come prova di successo. La measurement theory chiede di separare i tre piani prima di agire, e la tabella che segue è il vocabolario comune che manca in molte riunioni.

Evidenza	Interpretazione prudente	Decisione conseguente
Segnale positivo ma non isolato	Il fenomeno esiste, ma la causa è incerta	Cercare baseline o holdout
Segmento con risposta diversa	L’effetto medio nasconde eterogeneità	Analizzare coorti o sottogruppi
Costo operativo crescente	Il risultato va valutato sul margine	Applicare soglie economiche

La regola è semplice: una misura serve solo se riduce l’incertezza su una decisione specifica.

L’errore da evitare

L’errore più frequente è trattare la measurement theory come una definizione da ricordare invece che come un protocollo da applicare. Metriche senza baseline, grafici senza ipotesi e raccomandazioni che ignorano il costo dell’errore restano fragili. Il controllo è una domanda sola: se questo risultato fosse falso, quale decisione sbaglierei.

Riferimenti essenziali

• Stevens, S. S. (1946). On the Theory of Scales of Measurement. Science.
• Duhigg, C. (2012). How Companies Learn Your Secrets. The New York Times Magazine.

Quando la proxy giusta guida l’azione sbagliata

Nel 2012 il New York Times raccontò come lo statistico Andrew Pole avesse previsto le gravidanze delle clienti Target incrociando gli scontrini. Circa 25 prodotti i cui acquisti anticipavano il secondo trimestre permettevano di stimare la fase della gravidanza con sufficiente anticipo da inviare coupon per neonati. La proxy funzionava sul piano statistico ma fallì su quello della responsabilità, quando un padre scoprì così la gravidanza della figlia adolescente. Il caso mostra entrambi i lati della measurement theory: la misura catturava il concetto latente, ma guidare quell’azione con quella misura era sbagliato. Misurare bene non basta e bisogna sempre chiedersi se la misura deve guidare proprio quell’azione.

Domande di verifica sulla misura

1. Quale concetto dichiari di misurare con questa proxy?
2. Quanto scarto accetti tra concetto e proxy prima di fermarti?
3. Quale baseline rende la misura confrontabile nel tempo?
4. L’azione guidata dalla misura resta lecita se la proxy sbaglia?