Lehrplan Lektion 99 von 246 · Modul 8: Run Clinic I
Modul 8: Run Clinic I

Klinik: Fehler starten und skalieren

Warum das wichtig ist Fehler aus Modul 6 in der Praxis: sie hören auf zu lernen, bevor es beginnt.

Tote Einheiten: jede verborgene Einheit ist für jeden Input aus, also erreicht kein Gradient die erste Schicht und der loss verlässt nie 2.30. Nicht skalierte Inputs: Pixel kommen als 0 bis 16 statt 0 bis 1 an, die activations sind riesig, der startende loss liegt weit über 2.30 und die ersten steps sind heftig. (Die BatchNorm train/eval Falle aus Modul 6 gehört auch hierher; du hast sie bereits getroffen.)

Jeder Fall unten ist ein Trainingslauf mit einem eingebauten Fehler. Für jeden Fall: nutze Sonden um den Fehler zu finden, dann schreibe eine Korrektur als Konfigurationsänderungen. Die Fehler in dieser Lektion: dead_units, unscaled_inputs, plus one fault from earlier. Weniger Sonden sind besser; ein guter Diagnostiker braucht selten mehr als zwei pro Fall.

ProbeWas es dir sagt
loss_curve(c)Trainingsverlust alle 50 Schritte und finale Validierungsgenauigkeit. Immer zuerst ansehen.
loss_at_init(c)Loss vor dem Training. Ein frisches 10-Klassen-Modell sollte nahe ln(10) = 2.30 sein.
overfit_one_batch(c)Kann es 32 Beispiele memorisieren? Ein gesundes Setup erreicht fast 0.
grad_norms(c)Gradientgröße pro Gewichtungsmatrix am Anfang. Null bedeutet, dass nichts gelernt werden kann.
update_ratio(c)Einfache SGD Schrittweite relativ zur Gewichtungsgröße. Gesund ist etwa 0.001 bis 0.1 (eine Faustregel für einfaches SGD; Modul 14 zeigt, warum Adam anders ist).
act_stats(c)Versteckte Aktivierungen: Mittelwert, größter Wert, Anteil der toten Einheiten.
lr_schedule(c)Die Lernrate bei steps 0, 50, 100 und so weiter.
batch_labels(c)Die Labels in den ersten paar Batches.
overlap(c)Wie viele Validierungsbeispiele erscheinen auch im Training.
Wörter und Symbole in dieser Lektion
probe
eine schnelle Messung eines Durchlaufs, wie zum Beispiel Gradientengrößen oder tote Einheiten
Du bist dran

Fülle diagnosis (Fall zum Fehlernamen) und fixes (Fall zu einem Dictionary von Konfigurationsänderungen) für die Fälle A, B und C aus. Ein Fix muss den Fehler entfernen und auf mindestens 90% Validierungsgenauigkeit trainieren.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.