Cheat Sheet — Product Analysis

Questa lezione segue il binario ml-tabellare ed è pensata per essere riletta sotto pressione, prima di una review o di una decisione: tutto qui è compresso in tabelle e liste. È la tua mappa operativa completa dei moduli del percorso.

Cosa trovi in questa sintesi

Questa sintesi collega ogni domanda di business a segnale osservabile, baseline credibile e azione concreta senza dashboard decorativi.

Il giro completo in sei mosse

1. Scrivi decisione, unità di analisi e metrica con definizione operativa.
2. Fissa baseline credibile e rischio che invalida la conclusione.
3. Calcola salute per coorte e segmento prima delle medie aggregate.
4. Esegui controlli su denominatore, somma delle parti e stabilità del tracking.
5. Traduci il segnale in go o no-go, priorità, budget o scope.
6. Monitora dopo la decisione con soglia di rollback dichiarata.

Controllo rapido prima della review

Arriva con diagnosi ordinata e non con collezione di grafici.

Observed evidence	Cautious interpretation	Recommended action
The number improves	Effetto reale oppure variazione normale	Cercare confronto e segmentazione
One segment changes more than others	La media nasconde differenze	Separate cohorts or use cases
Il costo cresce con il risultato	Impatto da valutare sul margine	Estimate trade-offs and sustainability
Il mix cambia a metrica stabile	Deriva di composizione	Controllare denominatori e pesi
Picco su rilascio	Effetto novità o regressione	Isolare utenti pre e post rilascio

Aggiungi confidenza alta, media o bassa da campione, stabilità storica e controlli sperimentali.

Pattern SQL per retention, activation e LTV

L’errore classico è contare distinti senza filtrare per attivazione e maturazione della coorte.

WITH cohort AS (
    SELECT
        user_id,
        MIN(event_date) AS activation_date
    FROM events
    GROUP BY user_id
),
retention AS (
    SELECT
        c.activation_date,
        COUNT(DISTINCT e.user_id) AS retained_users
    FROM cohort c
    JOIN events e ON c.user_id = e.user_id
        AND e.event_date >= c.activation_date
        AND e.event_date <= c.activation_date + INTERVAL '30 days'
    GROUP BY c.activation_date
)
SELECT
    activation_date,
    retained_users,
    ROUND(retention_rate * 100, 2) AS retention_pct
FROM retention;

WITH cohort AS (
    SELECT
        user_id,
        MIN(event_date) AS activation_date
    FROM events
    WHERE event_name = 'sign_up'
    GROUP BY user_id
),
activated AS (
    SELECT
        c.activation_date,
        COUNT(DISTINCT e.user_id) AS activated_users
    FROM cohort c
    JOIN events e ON c.user_id = e.user_id
        AND e.event_name = 'first_value_action'
        AND e.event_date >= c.activation_date
        AND e.event_date <= c.activation_date + INTERVAL '7 days'
    GROUP BY c.activation_date
)
SELECT
    activation_date,
    activated_users,
    ROUND(activated_users * 100.0 / cohort_size, 2) AS activation_pct
FROM activated
JOIN (
    SELECT activation_date, COUNT(*) AS cohort_size FROM cohort GROUP BY activation_date
) USING (activation_date);

WITH cohort AS (
    SELECT
        user_id,
        MIN(event_date) AS activation_date
    FROM events
    GROUP BY user_id
),
revenue AS (
    SELECT
        c.activation_date,
        SUM(p.amount) AS cohort_revenue,
        COUNT(DISTINCT c.user_id) AS cohort_size
    FROM cohort c
    JOIN payments p ON c.user_id = p.user_id
        AND p.payment_date >= c.activation_date
        AND p.payment_date <= c.activation_date + INTERVAL '90 days'
    GROUP BY c.activation_date
)
SELECT
    activation_date,
    cohort_revenue,
    cohort_size,
    ROUND(cohort_revenue / cohort_size, 2) AS ltv_90d
FROM revenue;

Principio guida: la somma delle parti deve tornare al totale. In caso contrario c’è doppio conteggio o perdita nel join.

Segmentazione e prioritizzazione in una riga

Le medie ingannano. Il segnale vive nei divari tra coorte, canale, comportamento iniziale, piano, geografia e device.

La segmentazione comportamentale usa prime azioni e profondità d’uso. Batte la demografica perché genera azioni su onboarding e trigger.

RICE ordina per reach per impatto per confidenza diviso effort. La regola è chiara: sotto 0,5 di confidenza si torna in discovery.

Le metriche di salute con retention e NRR dicono se il prodotto regge. Quelle di ottimizzazione dicono dove intervenire.

Scelta	Criterio	Usage
RICE	Valore su costo comparabile	Prioritizzazione sprint
ICE	Impatto e confidenza senza reach	Pubblico fisso enterprise
Weighted scoring	Pesi strategici concordati prima	Planning trimestrale

In una riga: comportamentale prima, RICE per sprint e weighted scoring per trimestre.

Verdetto: la segmentazione comportamentale viene prima di tutto; poi RICE per gli sprint e weighted scoring per il planning trimestrale.

Un esempio che resta nella memoria

Nel 2009 Google testa 41 sfumature di blu per i link di ricerca perché la tonalità giusta vale circa 200 milioni di dollari l’anno di ricavi pubblicitari aggiuntivi. L’episodio, raccontato dal New York Times nel 2009, mostra scomposizione corretta con utenti al passo, drop-off per step e recupero atteso invece di stima a dito. La regola resta: confidenza 0,3 per ipotesi pura, 0,7 per test simile passato e 0,9 per A/B in corso. La lezione per cheat sheet è diretta: impatto scomposto, baseline reale e decisione tracciata.

Domande per l’autoverifica

1. Quale decisione cambia se questo segnale regge?
2. Quale denominatore rende la metrica confrontabile?
3. Quale segmento rovescia la media aggregata?
4. Quale controllo svela data loss invece di calo reale?