Twee modellen eerlijk vergelijken
Waarom dit ertoe doet Terug naar les 1. Dit is de juiste manier om te beslissen.
Beide modellen beantwoordden de same 100 items. Zet dus geen foutenbalken op elke score apart; zet er één op het difference, waarbij items als paren worden gehersteeld. Elke hersteiling kiest 100 items met teruglegging en berekent de accuracy van B minus die van A op diezelfde items. Als het 95% interval van dat verschil 0 bevat, kunnen de data de modellen niet van elkaar onderscheiden.
Paired comparison: het vergelijken van twee modellen item voor item op dezelfde testset, wat corrigeert voor hoe moeilijk elk item is.
Hoe de 100 afbeeldingen van les 1 zijn gekozen, eerlijk gezegd: de lezers zijn gesimuleerd, en de cursus koos een trekking van 100 afbeeldingen waarop A toevallig met 4 punten voorloopt op B. Bij meer dan 2.000 willekeurige trekkingen van 100 afbeeldingen liep A slechts in 8% van de gevallen met 4 punten of meer voor. B kwam in de helft van de gevallen voorop, en 14% waren gelijkspel. Het is een soort echt geluk, gekozen om de boodschap te geven: een enkele testset van 100 kan de verkeerde kant op wijzen.
Woorden en symbolen in deze les
- bootstrap
- Resample je testset met herhalingen om te zien hoeveel een score wankelt
- 95% interval
- de middelste 95% van de opnieuw bemonsterde scores
- gepaarde vergelijking
- vergelijk twee modellen op dezelfde items, item voor item
Schrijf paired_diff_ci(a, b, n=2000, seed=0) (interval van B min A, resampling item indices zoals in de bootstrap les) en verdict(a, b) die "A", "B" of "no clear difference" teruggeeft. Draai het op de modellen van les 1.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.