Programma Lezione 149 di 156 · Misurare il web come un ricercatore
Misurare il web come un ricercatore

Statistiche oneste

Perché è importante Una misura è utile solo se chi legge sa quanto fidarsene. Mettere per iscritto come è stato scelto il tuo campione, quanto è incerto il numero, e che cosa non hai potuto vedere è ciò che separa uno studio da un'ipotesi. Ti protegge anche dall'ingannare te stesso.

Immagina di chiedere alle persone in una palestra quanto spesso fanno esercizio, e poi di annunciare "la persona media si allena cinque volte a settimana". L'aritmetica può essere perfetta. Il problema è a chi l'hai chiesto.

Campione: la parte del mondo che hai misurato davvero, come i 1.000 siti che hai esplorato.

Popolazione: l'intero insieme su cui vuoi dire qualcosa, come "i siti web che usano le persone".

Distorsione del campione: una differenza tra il tuo campione e la popolazione che spinge il risultato in una direzione, per quanto grande sia il campione.

Dove sono distorte le esplorazioni del web

  • Solo siti popolari. Le classifiche favoriscono i grandi siti. I siti piccoli, che sono la maggior parte del web, possono comportarsi in modo diverso.
  • Regioni e lingue. Un crawler in un paese vede le versioni dei siti di quel paese, spesso in una sola lingua.
  • Dispositivi. Le esplorazioni da desktop perdono ciò che fanno i siti mobili e le app, e oggi gran parte del tracciamento avviene nelle app.
  • Pagine senza accesso. I crawler raramente fanno l'accesso, quindi pagine dell'account, pagamenti e feed restano senza misura.
  • Rilevamento dei bot. Alcuni siti si comportano in modo diverso con i browser automatici.
  • Le etichette. Il tuo conteggio dei tracker è in realtà "i siti che la blocklist chiama tracker". Un elenco che perde dei tracker abbassa il tuo numero.

Quanto è incerta una quota?

Anche senza distorsione, un campione oscilla per caso. Per una quota p misurata su n siti, un comune margine di errore approssimativo al 95% è 1.96 * sqrt(p * (1 - p) / n).

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

Questo margine copre solo il caso. Non dice niente sulla distorsione, che spesso è l'errore più grande, quindi ti serve comunque l'elenco qui sopra.

Scrivere i limiti

Una buona sezione dei limiti è breve, specifica e onesta. Per ogni limite di' che cos'è, in quale direzione probabilmente spinge il risultato, e che cosa lo risolverebbe. Per esempio:

  • "Abbiamo visitato solo le home page. Le pagine interne spesso caricano più tracker, quindi i nostri conteggi probabilmente sono bassi."
  • "Abbiamo usato una sola blocklist per le etichette. I tracker che perde non vengono contati."
  • "L'esplorazione è stata fatta in un giorno, da un luogo, su desktop."

Un equivoco comune: "Elencare i limiti fa sembrare debole uno studio." Fa l'opposto. Chi legge si fida di più di un risultato quando ne vede i confini, e i limiti dicono al prossimo ricercatore che cosa misurare.

Altre due abitudini: dai la data e il metodo esatto così qualcuno può ripeterlo, ed evita di trasformare "l'abbiamo visto sul 60% dei siti" in "il 60% delle persone è tracciato". I siti non sono persone.

Provalo Prendi la tua esplorazione della lezione 146. Calcola il margine di errore della sua quota di tracker, poi scrivi tre limiti, ciascuno dicendo in quale direzione spinge il numero.

Riepilogo

  • La distorsione del campione viene da chi o che cosa hai misurato, e un campione più grande non la cura.
  • Le esplorazioni perdono siti piccoli, altre regioni, mobile e app, pagine con l'accesso fatto, e tutto ciò che perdono le etichette.
  • Un margine di errore come 1.96 * sqrt(p(1 - p)/n) copre solo il caso.
  • Scrivi limiti che dicono che cosa, in quale direzione, e che cosa lo risolverebbe.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.