Das Rezept: zwei Prüfungen vor allem anderen
Warum das wichtig ist Die meisten fehlerhaften Durchläufe können in einer Minute durch zwei günstige Prüfungen abgefangen werden, bevor du eine Stunde mit dem Training verbringst.
Erfahrene Praktiker beginnen jedes neue Setup auf die gleiche Weise:
- Prüfe den loss am Anfang. Vor dem Training gibt ein 10-class Modell, das nichts weiß, jeder Klasse etwa 0.1, also sollte sein loss etwa -ln(0.1) = 2.30 sein. Weit darüber bedeutet, dass etwas falsch skaliert ist. Weit darunter bedeutet, dass die Antwort das Modell durch seine inputs erreicht. Nicht jeder leak zeigt sich hier: wenn Validierungsbilder auch im Trainingsset liegen, ist der startende loss normal (sowohl der gesunde Durchlauf dieser Klinik als auch der leak case starten bei 2.46), und nur ein Validierungsscore, der zu gut ist, verrät es.
- Überfitte einen Batch. Trainiere auf einem einzelnen kleinen Batch für einige hundert steps. Jedes funktionierende Modell und jede training loop kann 32 Beispiele auswendig lernen und den loss nahe Null treiben. Wenn es das nicht kann, liegt der bug im Modell, dem loss oder den gradients, und du hast ihn gefunden, ohne die vollständigen Daten zu berühren.
- Erst dann skalierst du auf den vollständigen Durchlauf.
Diese Klinik ist ein kleiner Ziffer-Klassifizierer, den du absichtlich kaputt machen kannst. config(**changes) erstellt ein Setup; train(c) führt es aus.
| Probe | Was es dir sagt |
|---|---|
loss_curve(c) | Trainingsverlust alle 50 Schritte und finale Validierungsgenauigkeit. Schau immer zuerst nach. |
loss_at_init(c) | Loss vor dem Training. Ein frisches 10-Klassen-Modell sollte nahe ln(10) = 2.30 sein. |
overfit_one_batch(c) | Kann es 32 Beispiele memorisieren? Ein gesundes Setup erreicht fast 0. |
grad_norms(c) | Gradientgröße pro Gewichtungsmatrix am Anfang. Null bedeutet, dass nichts gelernt werden kann. |
update_ratio(c) | Einfache SGD Schrittweite relativ zur Gewichtungsgröße. Gesund ist etwa 0.001 bis 0.1 (eine Faustregel für einfaches SGD; Modul 14 zeigt, warum Adam anders ist). |
act_stats(c) | Versteckte Aktivierungen: Mittelwert, größter Wert, Anteil der toten Einheiten. |
lr_schedule(c) | Die Lernrate bei steps 0, 50, 100 und so weiter. |
batch_labels(c) | Die Labels in den ersten paar Batches. |
overlap(c) | Wie viele Validierungsbeispiele erscheinen auch im Training. |
Wörter und Symbole in dieser Lektion
- probe
- eine schnelle Messung eines Durchlaufs, wie zum Beispiel Gradientengrößen oder tote Einheiten
- overfit one batch
- Das Überprüfen eines Setups kann einige Beispiele memorisieren
Schreibe sanity(c) und gib ein Dictionary mit init_ok (Verlust zu Beginn innerhalb von 0.3 von 2.30) und can_overfit (overfit-one-batch loss unter 0.1) zurück, unter Verwendung der Probes. Wende es auf das gesunde Setup und auf suspect.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.