Introduction to product analytics

Questa lezione si sviluppa sul binario ml-tabellare: ogni concetto arriva con il suo segnale osservabile, la sua baseline e la sua azione, in colonne ordinate. Se sei alle prime armi con la product analytics, sappi che non imparerai tanto a costruire dashboard quanto a usare i numeri per prendere decisioni migliori.

Il punto di partenza

La product analytics studia come le persone usano davvero un prodotto attraverso una event stream continua che registra comportamenti osservabili invece di opinioni dichiarate.

Dal funnel agli eventi

Il punto di partenza è il passaggio dalla mentalità funnel-first a quella event-based. La prima fissa subito il percorso ideale e lo conta. La seconda misura prima l’intera successione di eventi e poi chiede quale successione corrisponde al risultato desiderato. La product analytics è sia retrospettiva che prospettica: è retrospettiva perché legge il traffico già avvenuto, ed è prospettica perché quella stessa successione alimenta esperimenti futuri e nuove segmentazioni.

Si differenzia quindi da analisi di coorte e da panel misti. Una coorte raggruppa utenti per un momento condiviso e ne misura l’evoluzione nel tempo. Un panel misto combina fonti come web, mobile e offline per coprire una popolazione ampia. La product analytics usa entrambe: usa le coorti per isolare l’effetto del tempo e i panel per coprire più canali. Al centro resta sempre la traccia degli eventi. Il prerequisito è l’instrumentazione: senza event logging accurato non esiste una event stream affidabile.

La sequenza operativa, passo per passo

1. Scrivi la decisione concreta che deve migliorare e il proprietario della scelta, non un target vago come “più valore”.

   • Mappa ogni parola della decisione a una metrica: ad esempio “più valore” diventa la metrica misurabile che lo rappresenta.

2. Fissa unità di analisi, granularità temporale e metrica primaria con definizione operativa.

   • Specifica cosa contare come evento singolo, ad esempio il primo pagamento, con granularità chiara per evitare doppi conteggi.

3. Scegli una baseline credibile come periodo precedente, gruppo comparabile o benchmark.

   • Un periodo precedente può confondere stagionalità o trend organico con l’effetto della scelta.

4. Calcola la metrica per coorte e per segmento prima di leggere qualsiasi media aggregata.

   • Una media copre differenze che si cancellano: un segmento forte può mascherare un calo in un segmento debole.

5. Dichiara assunzioni, rischio principale e soglia che fa scattare l’azione, così il risultato diventa un trigger e non un paragrafo.

   • Fissa la soglia solo dopo aver deciso quale segnale merita davvero una reazione.

6. Traduci il risultato in prossimo passo operativo con owner e monitoraggio.

   • Ogni metrica deve avere un responsabile del passo successivo e un controllo per giudicare se ha avuto senso.

Domanda, misura, controllo, azione

Ogni analisi utile tiene insieme quattro caselle senza eccezioni.

Phase	What to clarify	Output
Question	Quale scelta reale deve migliorare	Decision to make
Measure	Quale segnale osservabile rappresenta il problema	Metric or source data
Control	Quale baseline rende il risultato interpretabile	Credible comparison
Action	Che cosa cambia dopo l’analisi	Next operational step
Insieme	Ogni analisi utile chiude il loop domanda-azione	Chiusura del ciclo

Ogni casella richiede contenuti specifici e coerenti. La Question nomina la scelta reale e non il problema generico: “aumentare le iscrizioni” è vaga perché non indica nulla, mentre “aumentare le attivazioni della coorte X del 10 percento” è verificabile. La Measure è un segnale osservabile che traccia con fedeltà il valore ricevuto: se non è osservabile o non riflette il valore, l’analisi si basa su rumore. Il Control rende interpretabile il risultato con periodo comparabile, coorte equivalente o benchmark: senza confronto credibile la percentuale non dice nulla. L’Action descrive cosa cambia nel concreto dopo l’analisi: se manca, c’è stato report e non analisi.

La catena si rompe se manca un solo elemento. Una Domanda mal posta dirige la Misura sul segnale sbagliato. Una Misura non osservabile rende il Controllo inaffidabile. Un Controllo debole giustifica azioni costose e fallite. Un’assenza di Azione trasforma il lavoro in un retrospettivo che si ripete ogni trimestre. Ogni approfondimento conta solo se rafforza almeno una riga della tabella.

Lettura prudente dei segnali

Prima di concludere, separa effetto reale, differenze di mix e costi.

Observed evidence	Cautious interpretation	Recommended action
The number improves	Effetto reale oppure variazione normale	Cercare confronto e segmentazione
One segment changes more than others	La media aggregata nasconde differenze	Separate cohorts or use cases
Cost grows along with the result	Impatto da valutare sul margine	Estimate trade-offs and sustainability

Controlla sempre denominatore, filtri e finestra temporale prima di fidarti della percentuale.

Prima di fidarti di un numero, distingui tre cause spesso confondibili. L’effetto reale è il movimento che segue il cambiamento e risponde alla scelta. La variazione di mix nasce quando cambia cosa viene misurato: una media in crescita può nascondere il calo di un segmento debole compensato da un lieve aumento nei segmenti forti. Il cost è il movimento correlato ma separato che si sposta insieme al risultato: può sembrare positivo, ma se erode il margine il risultato perde senso. Un effetto reale è chiaro quando resiste a segmentazione e analisi dei costi.

Dopo aver distinto l’effetto, verifica la forma numerica. Controllare il denominatore evita percentuali fuorvianti da basi piccole o mutevoli. Controllare i filtri evita di leggere un risultato ristretto a criteri che escludono il caso reale. Controllare la finestra temporale evita di scambiare un picco stagionale per un trend. Controllare UTM ed evento evita di misurare una campagna mal raggruppata. Un numero coerente nasce da basi coerenti.

Prima di accettare una percentuale, poni tre domande. Il movimento sta nel numeratore oppure è cambiato il denominatore? La differenza può essere variazione di mix o effetto di un filtro invece dell’effetto cercato? Il risultato regge se letto per segmento, coorte e costo? Un numero che cade su una di queste domande non è ancora una conclusione.

Un indicatore merita segmentazione quando la media cambia direzione e il gruppo non è omogeneo: più i segmenti divergono, più la media tradisce. A quel punto scindi la coorte per caso d’uso, canale, dimensione o periodo di ingresso. Isola quale sottogruppo porta l’effetto e quale lo maschera. Leggi i valori parziali prima del totale.

Facebook e la soglia dei 7 amici

Agli inizi degli anni 2010 il growth team di Facebook guidato da Chamath Palihapitiya trova una soglia empirica con centinaia di milioni di account osservati. Gli utenti che aggiungono almeno 7 amici nei primi 10 giorni restano attivi molto più a lungo degli altri. Chi supera la soglia ha costruito in tempo un grafo abbastanza denso da rendere il prodotto utile.

Il valore didattico dell’esempio sta nel riconoscere activation come cardine. Il funnel classico di Facebook passa per attivazione: reach porta registrazioni, l’attivazione con segnale di primo valore vero porta retention, revenue e referral. Ottenere più iscrizioni grezze senza portare quelle oltre una soglia di valore avrebbe creato milioni di conti spenti. Da quel numero nasce una delle prime applicazioni sistematiche della product analytics, con l’onboarding riprogettato non per massimizzare le iscrizioni, ma per portare più utenti oltre la soglia.

La lezione tecnica è che l’instrumentazione ha permesso di leggere un evento semplice — “amici aggiunti nei primi N giorni” — e di tradurlo in una direzione di prodotto precisa. Da quel risultato nasce l’output di azione: rivedere l’onboarding per spingere l’utente verso quel comportamento. Con activation su, i segnali downstream come retention e referral risultano solitamente più forti, perché il prodotto è diventato realmente utile per la coorte di soglia.

Esempio applicato: dashboard product analytics

Si immagina una dashboard product analytics in cui una metrica di attivazione cala per una coorte recente. Il team deve capire se è effetto reale o artefatto. La prima mossa è scegliere un’unica decisione concreta, ad esempio portare al 15 percento le attivazioni della coorte registrata in 30 giorni. Le domande generiche come “c’è da migliorare” non guidano nulla. La decisione fissa anche proprietario e valore da recuperare.

The baseline usa la stessa coorte su una finestra di 7 giorni. Il confronto non mescola stagionalità e dimensione: si confronta l’attivazione della nuova coorte a 7 giorni con una coorte equivalente passata o con un benchmark interno. La metrica primaria è l’evento strumentato che rappresenta il primo valore reale, ad esempio il completamento della configurazione del profilo a un certo passo. Serve una definizione operativa precisa per evitare doppi conteggi e granularità ambigue.

Poi si scinde per segmento e canale per distinguere effetto reale da variazione di mix. Se il calo è generalizzato, l’effetto reale è più plausibile. Se cambia solo un segmento o un dispositivo, era la media a ingannare. Si fissa una soglia, ad esempio attivazione sotto il 15 percento di media per due finestre consecutive. Infine si traduce tutto in un owner e in un prossimo passo, come “il team onboarding rivede il passo 3 entro una settimana e misura il ripristino”. Senza quell’ultimo passaggio la dashboard produce report e non analisi.

Questo è uno schema e non un risultato: nessun numero sopra è reale. Se in una dashboard reale si applicano questi elementi — decisione, baseline, evento, segmentazione, soglia, owner — la lettura diventa ripetibile. Ogni elemento va comunque verificato con i dati del proprio prodotto, i cui volumi e denominatore sono unici.

Verdetto: la mentalità event-based vince su quella funnel-first: misura prima l’intera successione di eventi e chiudi sempre il loop domanda-misura-controllo-azione, altrimenti produci report e non analisi.

Domande per chiudere la lezione

1. Quale decisione concreta deve migliorare la tua analisi di prodotto?
2. Quale metrica primaria rappresenta il valore ricevuto dall’utente?
3. Quale baseline rende il confronto credibile per questa coorte?
4. Quale assunzione invalida la conclusione se viene meno?