Lehrplan Lektion 96 von 246 · Modul 8: Run Clinic I
Modul 8: Run Clinic I

Klinik: learning-rate Fehler

Warum das wichtig istDie learning rate ist die häufigste Ursache für einen schlechten Durchlauf. Jede Art von Fehler hinterlässt eine andere Spur.

Zu hoch: steps schießen über hinaus, der loss springt herum oder steigt, und das update-to-weight-Verhältnis liegt bei oder über 1. Zu niedrig: fast nichts bewegt sich, der loss liegt bei etwa 2.30 und das Verhältnis ist winzig. Zu früh abgebrochen: der run lernt eine Weile, dann hört er auf sich zu verbessern: ab dann schwankt der loss von batch zu batch nur um ein mittelmäßiges Niveau (hier zwischen etwa 1.1 und 1.5); der schedule zeigt den Zusammenbruch der Rate.

Jeder Fall unten ist ein Trainingslauf mit einem eingebauten Fehler. Für jeden Fall: verwende Sonden um den Fehler zu finden, dann schreibe eine Korrektur als Konfigurationsänderungen. Die Fehler in dieser Lektion: lr_too_high, lr_too_low, lr_dropped_early. Weniger Sonden sind besser; ein guter Diagnostiker braucht selten mehr als zwei pro Fall.

ProbeWas es dir sagt
loss_curve(c)Trainingsverlust alle 50 Schritte und finale Validierungsgenauigkeit. Immer zuerst ansehen.
loss_at_init(c)Loss vor dem Training. Ein frisches 10-Klassen-Modell sollte nahe ln(10) = 2.30 sein.
overfit_one_batch(c)Kann es 32 Beispiele memorisieren? Ein gesundes Setup erreicht fast 0.
grad_norms(c)Gradientgröße pro Gewichtungsmatrix am Anfang. Null bedeutet, dass nichts gelernt werden kann.
update_ratio(c)Einfache SGD Schrittweite relativ zur Gewichtungsgröße. Gesund ist etwa 0.001 bis 0.1 (eine Faustregel für einfaches SGD; Modul 14 zeigt, warum Adam anders ist).
act_stats(c)Versteckte Aktivierungen: Mittelwert, größter Wert, Anteil der toten Einheiten.
lr_schedule(c)Die Lernrate bei steps 0, 50, 100 und so weiter.
batch_labels(c)Die Labels in den ersten paar Batches.
overlap(c)Wie viele Validierungsbeispiele erscheinen auch im Training.
Wörter und Symbole in dieser Lektion
probe
eine schnelle Messung eines Durchlaufs, wie zum Beispiel Gradientengrößen oder tote Einheiten
update-to-weight ratio
wie sehr stark ein Schritt jedes Gewicht relativ zu seiner Größe ändert
Du bist dran

Fülle diagnosis (Fall zum Fehlernamen) und fixes (Fall zu einem Dictionary von Konfigurationsänderungen) für die Fälle A, B und C aus. Ein Fix muss den Fehler entfernen und auf mindestens 90% Validierungsgenauigkeit trainieren.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.