Ehrliche Statistiken
Warum das wichtig ist Eine Messung ist nur nützlich, wenn die Leser wissen, wie sehr sie ihr vertrauen können. Aufzuschreiben, wie deine Stichprobe ausgewählt wurde, wie unsicher die Zahl ist und was du nicht sehen konntest, ist das, was eine Studie von einer Vermutung unterscheidet. Es schützt dich auch davor, dich selbst zu täuschen.
Stell dir vor, du fragst Leute in einem Fitnessstudio, wie oft sie trainieren, und verkündest dann: "Die durchschnittliche Person trainiert fünfmal pro Woche". Die Arithmetik mag perfekt sein. Das Problem ist, wen du gefragt hast.
Sample: der Teil der Welt, den du tatsächlich gemessen hast, wie die 1.000 Seiten, die du gecrawlt hast.
Population: das Ganze, über das du etwas sagen willst, wie zum Beispiel "Websites, die Menschen nutzen".
Sampling bias: ein Unterschied zwischen deiner Stichprobe und der Grundgesamtheit, der das Ergebnis in eine Richtung drückt, egal wie groß die Stichprobe ist.
Wo Web-Crawls voreingenommen sind
- Nur beliebte Seiten. Rankings bevorzugen große Seiten. Kleine Seiten, aus denen der Großteil des Webs besteht, können sich anders verhalten.
- Regionen und Sprachen. Ein Crawler in einem Land sieht die Versionen von Seiten aus diesem Land, oft in einer Sprache.
- Geräte. Desktop-Crawls übersehen das, was mobile Seiten und Apps tun, und vieles Tracking passiert jetzt in Apps.
- Abgemeldete Seiten. Crawler loggen sich selten ein, also bleiben Kontoseiten, Checkouts und Feeds ungemessen.
- Bot-Erkennung.Einige Seiten verhalten sich bei automatisierten Browsern anders.
- Die Labels. Deine Tracker-Anzahl ist wirklich "sites the blocklist calls trackers". Eine Liste, die Tracker übersieht, senkt deine Zahl.
Wie unsicher ist ein Anteil?
Selbst ohne Bias schwankt eine Stichprobe durch Zufall. Für einen Anteil p gemessen an n Seiten ist ein üblicher grober 95% margin of error von 1.96 * sqrt(p * (1 - p) / n).
import math
p, n = 0.6, 1000 # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%") # 60 % plus or minus 3.0 %Diese Marge deckt nur den Zufall ab. Sie sagt nichts über den Bias aus, der oft der größere Fehler ist, also brauchst du immer noch die Liste oben.
Grenzen aufschreiben
Ein guter Abschnitt zu den Grenzen ist kurz, spezifisch und ehrlich. Nenne für jede Grenze, was sie ist, in welche Richtung sie das Ergebnis wahrscheinlich beeinflusst und was sie beheben würde. Zum Beispiel:
- "Wir haben nur Homepages besucht. Innenseiten laden oft mehr Tracker, also sind unsere Zahlen wahrscheinlich niedrig."
- "Wir haben eine Blockliste für Labels verwendet. Tracker, die sie übersieht, werden nicht gezählt."
- "Der Crawl lief an einem Tag, von einem Standort, auf dem Desktop."
A häufiges Missverständnis: "Einschränkungen lassen eine Studie schwach wirken." Es bewirkt das Gegenteil. Leser vertrauen einem Ergebnis mehr, wenn sie seine Grenzen sehen können, und Einschränkungen sagen dem nächsten Forscher, was zu messen ist.
Noch zwei Gewohnheiten: Gib das Datum und die genaue Methode an, damit jemand es wiederholen kann, und vermeide es, "wir sahen es auf 60% der Seiten" in "60% der Menschen werden verfolgt" zu verwandeln. Seiten sind keine Menschen.
Probier es aus Nimm deinen crawl aus Lektion 146. Berechne die Fehlermarge für seinen tracker share, dann schreibe drei Limits für ihn, wobei jedes sagt, in welche Richtung es die Zahl drückt.
Zusammenfassung
- Sampling bias entsteht dadurch, wen oder was du gemessen hast, und eine größere Stichprobe heilt das nicht.
- Crawls verpassen kleine Seiten, andere Regionen, Mobilgeräte und Apps, Seiten mit Login und alles, was die Labels übersehen.
- A Fehlermarge wie 1.96 * sqrt(p(1 - p)/n) deckt nur die Chance ab.
- Schreibe Limits, die sagen, was, in welche Richtung und was es beheben würde.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.