Eén regel achter elke "is het echt" check
Waarom dit ertoe doet Deze cursus heeft verschillen beoordeeld op ten minste vier manieren: een gepaard interval (Module 9), "0.1 hoger en hoger op elke seed" (Modules 16 en 17), en 2 standaardfouten (deze module). Het zijn allemaal hetzelfde idee, en het weten hiervan laat je de juiste kiezen, en weten wanneer een te gul is.
Elke regel vergelijkt een difference met zijn noise. Twee keuzes veranderen het antwoord:
- Gepaard of niet. Wanneer beide modellen op dezelfde items worden gescoord (de testafbeeldingen van Module 9), trek dan eerst item voor item af: hoe moeilijk elk item is valt tegen elkaar weg, de ruis wordt kleiner en kleine echte verschillen worden zichtbaar. Voor twee classifiers op dezelfde items is de schoonste telling gewoon de items waar ze het oneens zijn (McNemar's test). Seeds van aparte runs zijn niet gepaard: vergelijk de twee groepen als geheel.
- Hoe streng de cutoff is. 2 standaardfouten gaat ervan uit dat je de ruis kent. Met 3 seeds per kant heb je het geschat vanuit 3 getallen elk, en die schatting kan gemakkelijk te klein zijn. Student's t houdt dit rekening mee: de cutoff wordt
stats.t.ppf(0.975, df)standaardfouten, waarbij df (de vrijheidsgraden) komt uit de formule van Welch,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))metva = var(a) / na. Met 3 seeds per kant is df 2 tot 4, en de cutoff 2.8 tot 4.3, niet 2.
Voorspel eerst: op het opgenomen rooster, overtreft de strengere cutoff ooit een "shown" van de 2 standard error regel?
Woorden en symbolen in deze les
- seed
- het getal dat de willekeurige keuzes van een run vastlegt; een andere seed geeft een ander resultaat
- standaardfout
- hoeveel een gemeten verschil zou bewegen als de seeds opnieuw zouden worden uitgevoerd
Zet my_guess op "yes" of "no". Schrijf welch(a, b) die (diff, se, df) teruggeeft voor twee lijsten van seed losses (diff = mean(a) - mean(b): positief wanneer b, het grotere model, beter is). Vul daarna voor elke case in CASES de result[case] met een dictionary: 'ratio' (diff / se), 'cutoff' (de t cutoff), 'two_se' en 't' ("shown" of "not shown" door elke regel). Zet disagree op de lijst van cases waar de twee regels verschillen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.