Zwei Modelle fair vergleichen
Warum das wichtig istZurück zu Lektion 1. Das ist der richtige Weg zu entscheiden.
Beide Modelle haben die gleichen 100 Elemente beantwortet. Setze also keine Fehlerbalken auf jeden Score einzeln; setze einen auf die Differenz und resample die Elemente als Paare. Jedes Resample wählt 100 Elemente mit Wiederholung aus und berechnet die accuracy von B minus die von A auf genau diese Elemente. Wenn das 95% Intervall dieser Differenz die 0 enthält, können die Daten die Modelle nicht unterscheiden.
Paired comparison: Vergleich von zwei Modellen Item für Item auf demselben Testset, was ausgleicht, wie schwer jedes Item ist.
Wie die 100 Bilder von Lektion 1 ausgewählt wurden, ehrlich: Die Leser sind simuliert, und der Kurs wählte eine Ziehung von 100 Bildern, bei der A zufällig B um 4 Punkte führt. Bei über 2.000 zufälligen Ziehungen von 100 Bildern führte A nur in 8 % der Fälle um 4 Punkte oder mehr; B lag in der Hälfte davon vorne, und 14 % waren Unentschieden. Es ist eine echte Art von Glück, gewählt um den Punkt zu machen: ein einzelner Testdatensatz von 100 kann in die falsche Richtung zeigen.
Wörter und Symbole in dieser Lektion
- bootstrap
- Resampling deines Testsets mit Wiederholungen, um zu sehen, wie stark ein Score schwankt
- 95% Intervall
- die mittleren 95% der neu Stichproben gezogenen Werte
- paarescher Vergleich
- Vergleich von zwei Modellen auf denselben Elementen, Element für Element
Schreibe paired_diff_ci(a, b, n=2000, seed=0) (Intervall von B minus A, Resampling-Elementindizes wie in der Bootstrap-Lektion) und verdict(a, b) und gib "A", "B" oder "no clear difference" zurück. Führe es auf den Modellen von Lektion 1 aus.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.