Klinik: Verlust und Ausgabefehler
Warum das wichtig ist Diese Fehler lassen das Training laufen und den loss sinken, also überleben sie lange Zeit in echtem Code.
Softmax zweimal angewendet: der loss sieht Wahrscheinlichkeiten so an, als wären sie Scores, die Gradienten schrumpfen, das Modell kann nicht einmal einen Batch auswendig lernen, und der loss sinkt langsam. Versetzte Targets: jedes Label ist um eins falsch, also lernt das Modell perfekt, nur die falschen Antworten: training loss niedrig, validation accuracy nahe bei Null.
Jeder Fall unten ist ein Trainingslauf mit einem eingebauten Fehler. Für jeden Fall: nutze Sonden um den Fehler zu finden, dann schreibe eine Korrektur als Konfigurationsänderungen. Die Fehler in dieser Lektion: softmax_twice, shifted_targets, plus one fault from earlier. Weniger Sonden sind besser; ein guter Diagnostiker braucht selten mehr als zwei pro Fall.
| Probe | Was es dir sagt |
|---|---|
loss_curve(c) | Trainingsverlust alle 50 Schritte und finale Validierungsgenauigkeit. Immer zuerst ansehen. |
loss_at_init(c) | Loss vor dem Training. Ein frisches 10-Klassen-Modell sollte nahe ln(10) = 2.30 sein. |
overfit_one_batch(c) | Kann es 32 Beispiele memorisieren? Ein gesundes Setup erreicht fast 0. |
grad_norms(c) | Gradientgröße pro Gewichtungsmatrix am Anfang. Null bedeutet, dass nichts gelernt werden kann. |
update_ratio(c) | Einfache SGD Schrittweite relativ zur Gewichtungsgröße. Gesund ist etwa 0.001 bis 0.1 (eine Faustregel für einfaches SGD; Modul 14 zeigt, warum Adam anders ist). |
act_stats(c) | Versteckte Aktivierungen: Mittelwert, größter Wert, Anteil der toten Einheiten. |
lr_schedule(c) | Die Lernrate bei steps 0, 50, 100 und so weiter. |
batch_labels(c) | Die Labels in den ersten paar Batches. |
overlap(c) | Wie viele Validierungsbeispiele erscheinen auch im Training. |
Wörter und Symbole in dieser Lektion
- probe
- eine schnelle Messung eines Durchlaufs, wie zum Beispiel Gradientengrößen oder tote Einheiten
Fülle diagnosis (Fall zu Fehlername) und fixes (Fall zu einem Dictionary von Konfigurationsänderungen) für die Fälle A, B und C aus. Ein Fix muss den Fehler entfernen und auf mindestens 90% Validierungsgenauigkeit trainieren.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.