Tor: drei unsichtbare kaputte Durchläufe (KI aus)
Warum das wichtig ist Alleine zu diagnostizieren, mit einem Budget, ist die Fähigkeit, die dieser Kurs seit Modul 8 aufgebaut hat.
KI aus. Drei Durchläufe, jeder mit einem Fehler aus den Trainingsfällen dieses Moduls. Es sind neue Durchläufe, keine Übungsfälle: ein anderer seed und Fehler anderer Größen, also werden die gemerkten Zahlen nicht übereinstimmen. Dein Budget ist insgesamt 9 Abfragen (das Trainieren eines versiegelten Falls zählt als eine), gezählt über jeden Durchlauf seit dem Öffnen der Seite (eine Abfrage auf demselben Fall zu wiederholen ist kostenlos; eine falsche Diagnose oder ein Fix, der nicht funktioniert, kostet eine Abfrage).
Jeder Fall unten ist ein Trainingslauf mit einem eingebauten Fehler. Für jeden Fall: nutze Probes um den Fehler zu finden, dann schreibe eine Korrektur als Config-Änderungen, die den Lauf wieder gesund machen. Die Fehler in dieser Lektion: any training fault from this module. Ein guter Diagnostiker braucht selten mehr als zwei Probes pro Fall.
| Probe | Was es dir sagt | Gesunder Durchlauf |
|---|---|---|
loss_curve(c) | Trainingsverlust alle 25 Schritte und der Verlust auf ungesehenem Text am Ende. Schau immer zuerst. | 4.55 auf etwa 2.9; nicht gesehen etwa 3.0 |
loss_at_init(c) | Loss vor dem Training. Ein frisches Modell, das gleichmäßig über 95 Zeichen rät, ergibt ln(95). | 4.55 |
leak_check(c) | Kann ein späteres Zeichen eine frühere Vorhersage ändern? | False |
show_batch(c) | Ein Trainingsinput und sein Ziel, als Text. | target = input moved one character left |
update_ratio(c) | Nach dem ersten Adam Schritt, wie weit sich die weights relativ zu ihrer Größe bewegt haben. Nicht die Regel von Modul 8: dieser Bereich von 0.001 bis 0.1 ist für einfache SGD Schritte. Der erste Schritt von Adam bewegt jedes weight um etwa die learning rate egal wie sein gradient ist, und diese weights starten nahe bei 0.02, also ergibt 0.01 / 0.02 etwa 0.5. Vergleiche einen Fall mit diesem gesunden Durchlauf, nicht mit dem Bereich von Modul 8. | etwa 0,5 |
block_change(c) | Wie stark der erste Block jeden Vektor am Anfang ändert. | etwa 0.3 |
Wörter und Symbole in dieser Lektion
- ln(V)
- der Startverlust eines Modells, das gleichmäßig über V Symbole rät: 4.55 für 95 Zeichen
- block ändern
- wie sehr stark ein Block einen Vektor zu Beginn ändert; nahe 1 bedeutet, dass er ihn ersetzt hat
Fülle diagnosis (Fall zum Fehlernamen) und fixes (Fall zu einem Dictionary von Konfigurationsänderungen) für die Fälle A, B und C aus. Nach deiner Korrektur muss jede Einstellung dem gesunden Durchlauf entsprechen.
KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.