Tor: drei unsichtbare kaputte Durchläufe (KI aus)
Warum das wichtig ist Alleine zu diagnostizieren, mit einem Budget, ist die Fähigkeit, für die dieses Modul ist.
KI aus. Drei Durchläufe, jeder mit einem Fehler von irgendwo in diesem Modul. Es sind neue Durchläufe, nicht die Übungsfälle: andere seeds, eine andere batch size und Fehler anderer Größen, also werden die Zahlen, die du aus der Übung weißt, nicht übereinstimmen. Dein Budget ist insgesamt 9 Probes (das Trainieren eines versiegelten Falls zählt als eine), gezählt über jeden Durchlauf seit dem Öffnen der Seite (die Wiederholung einer Probe auf demselben Fall ist kostenlos; eine falsche Diagnose oder ein Fix, der nicht funktioniert, kostet eine Probe).
Jeder Fall unten ist ein Trainingslauf mit einem eingebauten Fehler. Für jeden Fall: nutze Sonden um den Fehler zu finden, dann schreibe eine Korrektur als Konfigurationsänderungen. Die Fehler in dieser Lektion: any fault from this module. Weniger Sonden sind besser; ein guter Diagnostiker braucht selten mehr als zwei pro Fall.
| Probe | Was es dir sagt |
|---|---|
loss_curve(c) | Trainingsverlust alle 50 Schritte und finale Validierungsgenauigkeit. Schau immer zuerst nach. |
loss_at_init(c) | Loss vor dem Training. Ein frisches 10-Klassen-Modell sollte nahe ln(10) = 2.30 sein. |
overfit_one_batch(c) | Kann es 32 Beispiele memorisieren? Ein gesundes Setup erreicht fast 0. |
grad_norms(c) | Gradientgröße pro Gewichtungsmatrix am Anfang. Null bedeutet, dass nichts gelernt werden kann. |
update_ratio(c) | Einfache SGD Schrittweite relativ zur Gewichtungsgröße. Gesund ist etwa 0.001 bis 0.1 (eine Faustregel für einfaches SGD; Modul 14 zeigt, warum Adam anders ist). |
act_stats(c) | Versteckte Aktivierungen: Mittelwert, größter Wert, Anteil der toten Einheiten. |
lr_schedule(c) | Die Lernrate bei steps 0, 50, 100 und so weiter. |
batch_labels(c) | Die Labels in den ersten paar Batches. |
overlap(c) | Wie viele Validierungsbeispiele erscheinen auch im Training. |
Wörter und Symbole in dieser Lektion
- probe
- eine schnelle Messung eines Durchlaufs, wie zum Beispiel Gradientengrößen oder tote Einheiten
Fülle diagnosis (Fall zum Fehlernamen) und fixes (Fall zu einem Dictionary von Konfigurationsänderungen) für die Fälle A, B und C aus. Ein Fix muss den Fehler entfernen und auf mindestens 90% Validierungsgenauigkeit trainieren.
KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.