Programma Les 109 van 246 · Module 9: Is het echt beter?
Module 9: Is het echt beter?

Twee modellen eerlijk vergelijken

Waarom dit ertoe doet Terug naar les 1. Dit is de juiste manier om te beslissen.

Beide modellen beantwoordden de same 100 items. Zet dus geen foutenbalken op elke score apart; zet er één op het difference, waarbij items als paren worden gehersteeld. Elke hersteiling kiest 100 items met teruglegging en berekent de accuracy van B minus die van A op diezelfde items. Als het 95% interval van dat verschil 0 bevat, kunnen de data de modellen niet van elkaar onderscheiden.

Paired comparison: het vergelijken van twee modellen item voor item op dezelfde testset, wat corrigeert voor hoe moeilijk elk item is.

Hoe de 100 afbeeldingen van les 1 zijn gekozen, eerlijk gezegd: de lezers zijn gesimuleerd, en de cursus koos een trekking van 100 afbeeldingen waarop A toevallig met 4 punten voorloopt op B. Bij meer dan 2.000 willekeurige trekkingen van 100 afbeeldingen liep A slechts in 8% van de gevallen met 4 punten of meer voor. B kwam in de helft van de gevallen voorop, en 14% waren gelijkspel. Het is een soort echt geluk, gekozen om de boodschap te geven: een enkele testset van 100 kan de verkeerde kant op wijzen.

Woorden en symbolen in deze les
bootstrap
Resample je testset met herhalingen om te zien hoeveel een score wankelt
95% interval
de middelste 95% van de opnieuw bemonsterde scores
gepaarde vergelijking
vergelijk twee modellen op dezelfde items, item voor item
Jij bent aan de beurt

Schrijf paired_diff_ci(a, b, n=2000, seed=0) (interval van B min A, resampling item indices zoals in de bootstrap les) en verdict(a, b) die "A", "B" of "no clear difference" teruggeeft. Draai het op de modellen van les 1.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.