Trappole analitiche e bias nel marketing

Qui non impari a calcolare qualcosa di nuovo: impari a non fidarti dei numeri che già calcoli. Le trappole analitiche trasformano correlazione, selezione del campione e metriche scelte a posteriori in decisioni di budget ingiustificate, e colpiscono chiunque lavori con tabelle, query e modelli classici. Il tema è delicato, perché l’errore più costoso è quello che sembra un’analisi perfetta.

Cosa sono le trappole analitiche

Le trappole analitiche sono errori sistematici di lettura dei dati marketing che trasformano correlazione, selezione del campione e metriche scelte a posteriori in decisioni di budget ingiustificate.

La sequenza di lavoro che ti protegge

Prima di aprire qualsiasi dashboard, percorri questi cinque passaggi. Sono pochi, ma ognuno chiude una porta al bias.

1. Fissa decisione di budget e metrica primaria prima di aprire i dati.
2. Ricostruisci baseline, finestra di attribuzione e coorte completa di acquisizione.
3. Segmenta per paese, dispositivo e stagione per esporre variabili nascoste.
4. Confronta media mobile a tre mesi e deviazione standard per isolare il rumore.
5. Esegui un holdout su almeno il 5 per cento del traffico prima di scalare la spesa.

Le sette trappole che distorcono ogni decisione marketing

La prima è l’attribution window bias, la distorsione da finestra di attribuzione. La finestra è il periodo entro cui una conversione viene assegnata al click che l’ha preceduta. Se misuri entro 7 giorni, un canale che converte in media in 2 giorni risulta completo; uno che converte in 17 giorni perde circa il 55 per cento delle conversioni. Il primo canale mostra un ROAS gonfiato del 30-50 per cento rispetto al secondo. La soluzione non è allungare la finestra per tutti: misura la curva di decadimento specifica per canale. Un confronto tra finestre a 1, 3, 7, 14 e 30 giorni rivela la velocità di conversione reale di ciascuno.

La seconda è l’incrementality illusion, ed è endemica. Un utente vede un display ad, cerca il brand su Google, clicca l’ad di brand search e compra. Il modello last-click dà il 100 per cento del merito alla brand search. Ma quell’utente avrebbe comprato comunque? Per saperlo serve un gruppo di controllo: utenti statisticamente identici che non vedono l’ad. Senza controllo misuri correlazione spacciata per causalità. La regola operativa è diretta: ogni canale sopra i 100000 euro di spesa annua deve avere un holdout permanente su almeno il 5 per cento del traffico.

La terza è il survivorship bias, la distorsione da sopravvivenza. Il LTV medio calcolato solo sui clienti ancora attivi esclude chi ha churnato dopo 45 giorni con LTV basso. Il LTV reale, includendo l’intera coorte originale, cioè tutti i clienti acquisiti nello stesso periodo, è tipicamente del 20-40 per cento inferiore. In SQL la differenza è tra AVG(ltv) WHERE status = 'active' e AVG(ltv) su tutta la coorte originale. La seconda query è più lenta, meno gratificante e molto più vera.

La quarta è il paradosso di Simpson, che si verifica quando un trend aggregato si inverte dentro ogni singolo segmento. Facebook Ads ha un ROAS del 380 per cento, Google Ads del 290 per cento. A livello aggregato Facebook sembra migliore. Ma se segmenti per paese, in ogni paese Google batte Facebook. Il paradosso si risolve quando noti che Facebook è dominante in mercati come Brasile e Indonesia, dove qualsiasi canale ha ROAS strutturalmente più alto per CPC più bassi e meno concorrenza. Google è invece dominante in mercati saturi come USA e Germania. La variabile nascosta, il paese, inverte la conclusione. La regola è fissa: ogni confronto tra canali va segmentato almeno per paese, dispositivo e stagione.

La quinta è la regression to the mean, il ritorno alla media. Gennaio: ROAS 820 per cento. Febbraio: ROAS 340 per cento. Probabilmente non è successo niente: gennaio era un outlier positivo e febbraio è un ritorno alla media. Tagliare il budget perché le performance stanno crollando è la reazione istintiva e sbagliata. Il test corretto usa media mobile a 3 mesi e deviazione standard, cioè la dispersione media attorno alla media. Un mese fuori di 2 deviazioni standard è rumore, non un trend. Servono 3 o 4 periodi consecutivi fuori norma per dichiarare un cambiamento strutturale.

La sesta è il confirmation bias, la distorsione da conferma. Il data scientist trova segmenti dove il canale preferito performa bene, metriche dove il ROAS è accettabile e benchmark dove il confronto è favorevole. Non sta mentendo: sta cercando conferme. Il framework anti-confirmation è il test di falsificazione. Prima di iniziare l’analisi, scrivi cosa ti farebbe concludere che il canale non funziona. Se non hai una risposta, stai solo cercando prove a favore della tua ipotesi preferita.

La settima è il sampling bias nei sondaggi. Misuri l’NPS, cioè la quota di promoter meno detractor, con un pop-up in-app e risponde il 4 per cento degli utenti. Quel 4 per cento non è un campione casuale: è composto quasi interamente da promoter entusiasti e detractor arrabbiati, le uniche due categorie abbastanza motivate per rispondere. I passivi, la maggioranza silenziosa, restano sottorappresentati. La correzione è duplice: pesa le risposte per tasso di risposta per segmento, oppure usa campionamento stratificato invitando attivamente un campione rappresentativo.

Verdetto: tratta ogni numero come sospetto fino a prova contraria e pretendi baseline, perimetro dei dati mancanti e criterio di falsificazione scritti prima di spostare budget.

Il framework delle tre domande anti-trappola

Prima di presentare qualsiasi numero a un decisore, fermati e rispondi a tre domande. Non sono negoziabili.

La prima è rispetto a cosa. Ogni metrica ha bisogno di un ancoraggio: il mese scorso, lo stesso mese dell’anno scorso, il gruppo di controllo, il benchmark di settore. Un numero senza confronto non è un dato, è rumore con i decimali.

La seconda è cosa non stai vedendo. Quali dati mancano, quali segmenti sono esclusi, quali canali non sono tracciati, quali utenti sono spariti dal dataset. Qui si annida la fiducia ingiustificata.

La terza è cosa ti farebbe cambiare idea. Se non hai una risposta pronta, sei in confirmation bias. Il test è scrivere la frase che definisce la soglia di falsificazione. Se non riesci a scriverla, non hai ancora iniziato l’analisi.

Laboratorio: costruire un sistema anti-trappola

Nel primo esercizio, di detection, ti viene dato un dataset di 50000 conversioni con 3 canali e relativi touchpoint. Il modello last-click mostra che il Canale C prende il 62 per cento del credito. Segmenta per recency_days, i giorni tra ultimo touchpoint e acquisto, e verifica se c’è attribution window bias. Per ogni canale calcola la percentuale di conversioni catturate entro 1, 3, 7, 14 e 30 giorni.

Nel secondo esercizio, sul paradosso di Simpson, costruisci un esempio sintetico in Python dove due canali hanno ROAS invertito a livello aggregato rispetto a ogni segmento. Spiega la variabile nascosta e mostra come emerge dal dato.

np.random.seed(42)
n = 10000

# Paese A: Google migliore di Facebook
df_a = pd.DataFrame({
    'country': 'A',
    'channel': np.random.choice(['Google', 'Facebook'], n//2),
    'roas': np.where(np.random.random(n//2) `< 0.5`,
                     np.random.normal(4.5, 1.0, n//2),  # Google
                     np.random.normal(3.5, 1.0, n//2))  # Facebook
})

# Paese B: Google migliore di Facebook (ma ROAS strutturalmente più alti)
df_b = pd.DataFrame({
    'country': 'B',
    'channel': np.random.choice(['Google', 'Facebook'], n//2, p=[0.2, 0.8]),
    'roas': np.where(np.random.random(n//2) `< 0.5`,
                     np.random.normal(7.0, 1.5, n//2),  # Google (raro)
                     np.random.normal(6.0, 1.5, n//2))  # Facebook (dominante)
})

df = pd.concat([df_a, df_b])
print("Aggregato:", df.groupby('channel')['roas'].mean())
print("Per paese:", df.groupby(['country', 'channel'])['roas'].mean())

Nel terzo esercizio progetti un holdout test per un canale email marketing con 200000 utenti. Definisci la dimensione minima del gruppo di controllo per una potenza statistica dell’80 per cento, la metrica primaria, la metrica di guardrail, la durata minima e il criterio di stop anticipato.

Strumenti e automazione

Il lavoro dell’analista non finisce con la query corretta. Automatizzare generazione, validazione e distribuzione dei risultati è ciò che distingue un’analisi una tantum da una capacità analitica permanente.

Se usi dbt, crea un modello con test unique e not_null sulle chiavi e aggiungi un test di volume: il numero di righe non deve scendere sotto il 50 per cento della media mobile a 7 giorni. Se usi Airflow o Prefect, programma l’esecuzione quotidiana con alert su Slack o email in caso di fallimento. L’obiettivo non è la perfezione statistica, è che nessuno prenda una decisione basata su dati di tre giorni fa senza saperlo.

Errori frequenti e come evitarli

Il primo errore è confondere correlazione e causalità: due metriche che si muovono insieme non implicano che una causi l’altra. Solo un test con controllo stabilisce causalità. Ogni dashboard di correlazione va presentata con un disclaimer esplicito.

Il secondo è ignorare la stagionalità. Confrontare novembre con dicembre senza correggere per l’effetto festività produce insight fuorvianti. Quando la metrica ha componenti stagionali note, usa un confronto anno su anno o una media mobile destagionalizzata.

Il terzo è non validare il grain della query, cioè il livello di dettaglio di una singola riga. La causa più comune di risultati errati è un grain sbagliato: un JOIN che duplica righe, un filtro applicato troppo tardi, una finestra definita sul dataset sbagliato. Prima di interpretare qualsiasi numero, verifica il conteggio delle righe a ogni step della query.

Riferimenti

• Blake, T., Nosko, C. e Tadelis, S. (2015). Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment. Econometrica, 83(1), pp. 155-174.
• Gordon, B. R., Zettelmeyer, F., Bhargava, N. e Chapsky, D. (2019). A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook. Marketing Science, 38(2), pp. 193-225.
• Kohavi, R., Tang, D. e Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
• Lewis, R. A. e Rao, J. M. (2015). The Unfavorable Economics of Measuring the Returns to Advertising. Quarterly Journal of Economics, 130(4), pp. 1941-1973.

Un caso che fa riflettere: Uber

Nel 2017-2018 Uber spese circa 120 milioni di dollari in campagne di app-install su decine di network pubblicitari. I dashboard mostravano milioni di installazioni attribuite con costo per installazione in calo. Un audit indipendente con holdout geografici rivelò che circa il 65 per cento delle installazioni attribuite era in realtà organico. Uber tagliò oltre 100 milioni di spesa pubblicitaria e le installazioni organiche non calarono. Il caso fu documentato dal Wall Street Journal e analizzato da Gordon e colleghi nel 2019 su Marketing Science.

Domande per l’autoverifica

1. Quale finestra di attribuzione taglia le conversioni lente del tuo canale principale?
2. Quale holdout separa correlazione e causalità sopra i 100000 euro di spesa annua?
3. Quale segmento nascosto inverte il confronto tra due canali nel paradosso di Simpson?
4. Cosa ti farebbe concludere che il canale testato non funziona prima di scalare il budget?