Programma Les 233 van 246 · Module 22: Claims beoordelen
Module 22: Claims beoordelen

Eén regel achter elke "is het echt" check

Waarom dit ertoe doet Deze cursus heeft verschillen beoordeeld op ten minste vier manieren: een gepaard interval (Module 9), "0.1 hoger en hoger op elke seed" (Modules 16 en 17), en 2 standaardfouten (deze module). Het zijn allemaal hetzelfde idee, en het weten hiervan laat je de juiste kiezen, en weten wanneer een te gul is.

Elke regel vergelijkt een difference met zijn noise. Twee keuzes veranderen het antwoord:

  • Gepaard of niet. Wanneer beide modellen op dezelfde items worden gescoord (de testafbeeldingen van Module 9), trek dan eerst item voor item af: hoe moeilijk elk item is valt tegen elkaar weg, de ruis wordt kleiner en kleine echte verschillen worden zichtbaar. Voor twee classifiers op dezelfde items is de schoonste telling gewoon de items waar ze het oneens zijn (McNemar's test). Seeds van aparte runs zijn niet gepaard: vergelijk de twee groepen als geheel.
  • Hoe streng de cutoff is. 2 standaardfouten gaat ervan uit dat je de ruis kent. Met 3 seeds per kant heb je het geschat vanuit 3 getallen elk, en die schatting kan gemakkelijk te klein zijn. Student's t houdt dit rekening mee: de cutoff wordt stats.t.ppf(0.975, df) standaardfouten, waarbij df (de vrijheidsgraden) komt uit de formule van Welch, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) met va = var(a) / na. Met 3 seeds per kant is df 2 tot 4, en de cutoff 2.8 tot 4.3, niet 2.

Voorspel eerst: op het opgenomen rooster, overtreft de strengere cutoff ooit een "shown" van de 2 standard error regel?

Woorden en symbolen in deze les
seed
het getal dat de willekeurige keuzes van een run vastlegt; een andere seed geeft een ander resultaat
standaardfout
hoeveel een gemeten verschil zou bewegen als de seeds opnieuw zouden worden uitgevoerd
Jij bent aan de beurt

Zet my_guess op "yes" of "no". Schrijf welch(a, b) die (diff, se, df) teruggeeft voor twee lijsten van seed losses (diff = mean(a) - mean(b): positief wanneer b, het grotere model, beter is). Vul daarna voor elke case in CASES de result[case] met een dictionary: 'ratio' (diff / se), 'cutoff' (de t cutoff), 'two_se' en 't' ("shown" of "not shown" door elke regel). Zet disagree op de lijst van cases waar de twee regels verschillen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.