CUPED and variance reduction

Questa lezione segue il binario ml-tabellare: CUPED è una formula, ma la sua validità si gioca su due controlli — la covariata precede il trattamento e resta bilanciata tra i gruppi.

L’idea in una frase

CUPED riduce il rumore di una metrica usando un dato precedente al test, così lo stesso esperimento rileva effetti più piccoli a parità di campione.

La procedura in cinque passi

1. Scegli la metrica primaria e una covariata misurata prima dell’assegnazione, mai influenzabile dal trattamento.
2. Stima su dati pre-test il coefficiente che lega covariata e metrica.
3. Costruisci la metrica corretta con $Y_{adj} = Y - \theta \cdot (X - \bar{X})$, where $X$ è la covariata e $\theta$ il coefficiente stimato.
4. Verifica che la covariata sia bilanciata tra controllo e trattamento e che la varianza si sia ridotta davvero.
5. Esegui il test sulla metrica corretta con la soglia decisa prima del lancio.

Quando la metrica è troppo rumorosa

Questa lezione tratta CUPED e variance reduction come scelta operativa, non come raccolta di definizioni. La domanda di fondo è semplice. Quando il dato diventa più affidabile, quale decisione cambia davvero?

Il problema arriva con dati incompleti, metriche ambigue e vincoli tecnici che rendono fragile la lettura. Alcuni esperimenti richiedono settimane perché la metrica è rumorosa. Eppure il comportamento osservato prima del test spiega già molta variabilità.

Il caso tipico è il ricavo per utente ad alta varianza. CUPED usa una covariata pre-esperimento per aumentare la precisione senza cambiare la domanda causale. Ridurre la varianza non forza la significatività. Serve a stimare meglio l’effetto quando la covariata è valida e precedente al trattamento.

Il modello: dalla decisione all’azione

Conviene leggere il tema come un ponte tra contesto, misura e azione. Un modello robusto separa quattro blocchi: la decisione da supportare, i segnali osservabili, il meccanismo che collega segnali e decisione e i guardrail che limitano gli errori di lettura.

Questa separazione mostra subito l’errore da evitare. Se la covariata è influenzata dal trattamento, la correzione invalida il test. Se la covariata è precedente e bilanciata, la stima guadagna precisione senza perdere credibilità.

Parti dalla decisione: che cosa cambia se capiamo meglio CUPED e variance reduction? Poi individua il segnale osservabile, la baseline di confronto, i vincoli che possono falsare la lettura e l’azione che segue. Ogni blocco deve avere una risposta scritta prima del lancio.

Formalizzare la relazione tra decisione, evidenza e rischio

Formalizzare rende visibili le assunzioni. Così uno stakeholder discute il criterio decisionale invece di accettare il risultato per autorità. La potenza si costruisce nel disegno, non allungando il test finché il risultato conviene.

Serve definire l’unità di analisi, la variabile osservata, la baseline, la soglia decisionale e il rischio residuo. Ogni elemento ha un controllo minimo: una definizione stabile e tracciabile, un criterio scritto prima della lettura, una verifica di sensibilità.

L’errore tipico

L’errore più comune è usare CUPED come etichetta invece che come criterio di scelta. Il team mostra un numero senza dire quale decisione cambia. Non dichiara quale baseline lo rende interpretabile né quale rischio resta aperto.

Vale un avvertimento specifico: CUPED non rende forte un test debole. Una covariata influenzata dal trattamento invalida la riduzione di varianza. Prima dimensiona il disegno, poi riduci il rumore.

Verdetto: prima fissa MDE, potenza e durata minima, poi usa CUPED per ridurre il rumore; mai CUPED al posto di un disegno dimensionato correttamente.

Il caso Microsoft 2013

CUPED nasce dentro il programma di sperimentazione di Microsoft: Deng e colleghi lo descrissero nel 2013 come metodo per sfruttare i dati pre-esperimento e ridurre la varianza delle metriche. L’idea chiave è sottrarre a ogni utente la parte di comportamento già spiegata dal suo passato, così il confronto tra controllo e trattamento misura solo il cambiamento. Da allora è diventato lo standard operativo delle piattaforme di experimentation: prima si sceglie una covariata precedente al trattamento, poi si verifica che sia bilanciata tra i gruppi, infine si legge il test sulla metrica corretta. La lezione del caso è netta: la potenza si guadagna con il disegno e con covariate valide, non allungando il test finché il risultato non conviene.

Domande per verificare la lezione

1. Perché la covariata CUPED deve essere misurata prima dell’assegnazione al trattamento?
2. Che cosa fissa il Minimum Detectable Effect prima di calcolare la numerosità?
3. Che cosa succede alla potenza se dimezzi la varianza della metrica a parità di campione?
4. Perché allungare un test oltre la durata pianificata non sostituisce un calcolo di potenza fatto bene?