Lehrplan Lektion 109 von 246 · Modul 9: Ist es wirklich besser?
Modul 9: Ist es wirklich besser?

Zwei Modelle fair vergleichen

Warum das wichtig istZurück zu Lektion 1. Das ist der richtige Weg zu entscheiden.

Beide Modelle haben die gleichen 100 Elemente beantwortet. Setze also keine Fehlerbalken auf jeden Score einzeln; setze einen auf die Differenz und resample die Elemente als Paare. Jedes Resample wählt 100 Elemente mit Wiederholung aus und berechnet die accuracy von B minus die von A auf genau diese Elemente. Wenn das 95% Intervall dieser Differenz die 0 enthält, können die Daten die Modelle nicht unterscheiden.

Paired comparison: Vergleich von zwei Modellen Item für Item auf demselben Testset, was ausgleicht, wie schwer jedes Item ist.

Wie die 100 Bilder von Lektion 1 ausgewählt wurden, ehrlich: Die Leser sind simuliert, und der Kurs wählte eine Ziehung von 100 Bildern, bei der A zufällig B um 4 Punkte führt. Bei über 2.000 zufälligen Ziehungen von 100 Bildern führte A nur in 8 % der Fälle um 4 Punkte oder mehr; B lag in der Hälfte davon vorne, und 14 % waren Unentschieden. Es ist eine echte Art von Glück, gewählt um den Punkt zu machen: ein einzelner Testdatensatz von 100 kann in die falsche Richtung zeigen.

Wörter und Symbole in dieser Lektion
bootstrap
Resampling deines Testsets mit Wiederholungen, um zu sehen, wie stark ein Score schwankt
95% Intervall
die mittleren 95% der neu Stichproben gezogenen Werte
paarescher Vergleich
Vergleich von zwei Modellen auf denselben Elementen, Element für Element
Du bist dran

Schreibe paired_diff_ci(a, b, n=2000, seed=0) (Intervall von B minus A, Resampling-Elementindizes wie in der Bootstrap-Lektion) und verdict(a, b) und gib "A", "B" oder "no clear difference" zurück. Führe es auf den Modellen von Lektion 1 aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.