Die Train/Eval-Falle
Warum das wichtig ist Ein Modell, das beim Testen gut abschneidet und in der Anwendung schlecht, ohne sichtbaren Grund, ist sehr oft dieser Bug. Es hat erfahrene Ingenieure getäuscht.
Ein kleiner Klassifikator hat eine BatchNorm Schicht. Er wurde richtig trainiert und seine gleitenden Durchschnitte sind gut. Auf dem Testset, bewertet in großen Batches, schneidet er gut ab. Wenn er auf einem Beispiel nach dem anderen verwendet wird, liegt er viel zu oft falsch.
Detektivarbeit zuerst: drucke aus, was die BatchNorm layer für zwei verschiedene Beispiele ausgibt, und frage dich, mit welchen Statistiken sie normalisiert. Berechne es aus dem, was du druckst; die drei Hinweise führen dich dorthin, wenn du feststeckst.
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
- BatchNorm (gamma, beta)
- Normalisiere jedes Feature über den Batch und skaliere dann mit gelerntem gamma und beta neu
predict_one(x) wird auf einem Beispiel nach dem anderen verwendet, und seine accuracy ist schlecht. Finde heraus warum, dann korrigiere predict_one so, dass die held-out accuracy mindestens 90% beträgt. Setze cause auf eine kurze Phrase, die die Ursache benennt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.