Lehrplan Lektion 160 von 246 · Modul 14: Run Clinic II
Modul 14: Run Clinic II

Klinik: zu gut oder zu feststeckend

Warum das wichtig ist Die gefährlichsten Durchläufe sind die, die großartig aussehen. Ein Modell, das seine Antworten sehen kann, meldet einen wunderbaren training loss und ist nutzlos.

Keine Maske: das Modell kann auf das nächste Zeichen schauen, also fällt sein Trainingsverlust weiter als bei einem gesunden Durchlauf, während sein Verlust auf ungesehenem Text (ehrlich gemessen, nur von früheren Zeichen) viel schlechter ist. Ziele nicht verschoben: das Ziel ist der Input selbst, also lernt das Modell, das Zeichen zu kopieren, das es ansieht. Der Trainingsverlust geht fast auf 0, und auf ungesehenem Text ist er schrecklich. Kein Residual: jeder Block ersetzt h anstatt es zu addieren, also ist der Stack schwer zu trainieren und der Verlust stagniert früh.

Jeder Fall unten ist ein Trainingslauf mit einem eingebauten Fehler. Für jeden Fall: verwende Probes um den Fehler zu finden, dann schreibe eine Korrektur als Config-Änderungen, die den Lauf wieder gesund machen. Die Fehler in dieser Lektion: no_mask, targets_not_shifted, no_residual. Ein guter Diagnostiker braucht selten mehr als zwei Probes pro Fall.

ProbeWas es dir sagtGesunder Durchlauf
loss_curve(c)Trainingsverlust alle 25 Schritte und der Verlust auf ungesehenem Text am Ende. Schau immer zuerst.4.55 runter auf etwa 2.9; unsichtbar etwa 3.0
loss_at_init(c)Loss vor dem Training. Ein frisches Modell, das gleichmäßig über 95 Zeichen rät, ergibt ln(95).4.55
leak_check(c)Kann ein späteres Zeichen eine frühere Vorhersage ändern?False
show_batch(c)Ein Trainingsinput und sein Ziel, als Text.target = input moved one character left
update_ratio(c)Nach dem ersten Adam Schritt, wie weit sich die weights relativ zu ihrer Größe bewegt haben. Nicht die Regel von Modul 8: dieser Bereich von 0.001 bis 0.1 ist für einfache SGD Schritte. Der erste Schritt von Adam bewegt jedes weight um etwa die learning rate egal wie sein gradient ist, und diese weights starten nahe bei 0.02, also ergibt 0.01 / 0.02 etwa 0.5. Vergleiche einen Fall mit diesem gesunden Durchlauf, nicht mit dem Bereich von Modul 8.etwa 0,5
block_change(c)Wie stark der erste Block jeden Vektor am Anfang ändert.etwa 0.3
Wörter und Symbole in dieser Lektion
ln(V)
der Startverlust eines Modells, das gleichmäßig über V Symbole rät: 4.55 für 95 Zeichen
block ändern
wie sehr stark ein Block einen Vektor am Anfang ändert; nahe 1 bedeutet es, dass er ihn ersetzt hat
Du bist dran

Fülle diagnosis (Fall zum Fehlernamen) und fixes (Fall zu einem Dictionary von Konfigurationsänderungen) für die Fälle A, B und C aus. Nach deiner Korrektur muss jede Einstellung dem gesunden Durchlauf entsprechen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.