Lehrplan Lektion 105 von 246 · Modul 9: Ist es wirklich besser?
Modul 9: Ist es wirklich besser?

Keime und Ausbreitung

Warum das wichtig ist Trainiere dasselbe Modell zweimal mit unterschiedlichen seeds und du erhältst unterschiedliche scores. Bis du weißt, wie groß diese Schwankung ist, kannst du nicht sagen, ob eine Änderung geholfen hat.

Hier entscheidet der seed drei Dinge: welche Bilder in den Trainings- und Testsets landen, die Startgewichte und die Reihenfolge der Daten. Keines davon sollte wichtig sein, aber alle sind es ein bisschen. Trainiere also immer mehrere seeds und gib den Mittelwert und die Streuung (Standardabweichung) an, niemals einen einzelnen Durchlauf.

Eine grobe Regel zum Vergleich von zwei Einstellungen, die jeweils über n seeds gemittelt wurden: Die Differenz der zwei Mittelwerte schwankt um etwa spread mal sqrt(2 / n) (jeder Mittelwert schwankt um spread / sqrt(n), und zwei unabhängige Schwankungen addieren sich in Quadraten). Eine Differenz kleiner als etwa das Doppelte davon ist keine, der du vertrauen kannst. Bei 5 seeds und einem spread von 0.02 sind das 2 mal 0.02 mal sqrt(0.4) = 0.025.

Du bist dran

Schreibe seed_report(n_seeds) und gib (mean, std) von train_and_score über Seeds 0 bis n_seeds - 1 zurück. Benutze np.std wie es ist (es teilt durch n; Teilen durch n - 1, ddof=1, wird auch akzeptiert). Setze dann wobble auf die Streuung über 5 Seeds.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.