Lehrplan Lektion 233 von 246 · Modul 22: Behauptungen beurteilen
Modul 22: Behauptungen beurteilen

Eine Regel hinter jeder "ist es echt" Prüfung

Warum das wichtig ist Dieser Kurs hat Unterschiede auf mindestens vier Arten beurteilt: ein gepaartes Intervall (Modul 9), "0.1 höher und höher bei jedem Seed" (Module 16 und 17) und 2 Standardfehler (dieses Modul). Sie sind alle dieselbe Idee, und wenn du das weißt, kannst du die richtige wählen und erkennen, wann eine zu großzügig ist.

Jede Regel vergleicht einen Unterschied mit seinem Rauschen. Zwei Entscheidungen ändern die Antwort:

  • Gepaart oder nicht. Wenn beide Modelle auf denselben Elementen bewertet werden (die Testbilder aus Modul 9), zieh zuerst Element für Element ab: Wie schwer jedes Element ist, hebt sich auf, das Rauschen schrumpft, und kleine echte Unterschiede werden sichtbar. Für zwei Klassifikatoren auf denselben Elementen ist die sauberste Zählung einfach die der Elemente, bei denen sie sich uneinig sind (McNemar-Test). Seeds getrennter Läufe sind nicht gepaart: Vergleiche die beiden Gruppen als Ganzes.
  • Wie streng die Grenze ist. 2 Standardfehler setzen voraus, dass du das Rauschen kennst. Mit 3 Seeds pro Seite hast du es aus jeweils 3 Zahlen geschätzt, und diese Schätzung kann leicht zu klein sein. Die t-Verteilung nach Student berücksichtigt das: Die Grenze wird zu stats.t.ppf(0.975, df) Standardfehlern, wobei df (die Freiheitsgrade) aus der Welch-Formel kommt, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) mit va = var(a) / na. Mit 3 Seeds pro Seite liegt df zwischen 2 und 4 und die Grenze zwischen 2.8 und 4.3, nicht bei 2.

Sag zuerst voraus: Kippt die strengere Grenze im aufgezeichneten Raster jemals ein "gezeigt" aus der Regel mit 2 Standardfehlern?

Wörter und Symbole in dieser Lektion
Seed
die Zahl, die die Zufallsentscheidungen eines Laufs festlegt; ein anderer Seed ergibt ein anderes Ergebnis
Standardfehler
wie stark sich ein gemessener Unterschied bewegen würde, wenn die Seeds neu laufen
Du bist dran

Set my_guess auf "yes" oder "no". Schreibe welch(a, b) und gib (diff, se, df) für zwei Listen von seed losses zurück (diff = mean(a) - mean(b): positiv, wenn b, das größere Modell, besser ist). Dann fülle für jeden Fall in CASES die result[case] mit einem dict: 'ratio' (diff / se), 'cutoff' (der t cutoff), 'two_se' und 't' ("shown" oder "not shown" durch jede Regel). Setze disagree auf die Liste der Fälle, in denen die zwei Regeln abweichen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.