Das Rezept für Sequenzmodelle
Warum das wichtig ist Die zwei Prüfungen von Modul 8 (Verlust am Anfang, eine Batch auswendig lernen) gelten immer noch. Sequenzmodelle fügen neue Wege hinzu, um stillschweigend zu scheitern, und zwei günstige Prüfungen fangen die schlimmsten davon ab, bevor du Rechenleistung verbrauchst.
Das Modell der Klinik ist ein winziges GPT: Breite 16, 2 Blöcke, 2 Köpfe, 16 Zeichen Kontext, 200 Adam steps auf dem Kurstext. Es trainiert in ein paar Sekunden, also kannst du es dir leisten zu prüfen.
Check 1: der anfängliche Verlust
A ein frisches Modell mit kleinen Gewichten verteilt seine Vermutungen gleichmäßig über die V Zeichen, also ist sein loss ln(V). Für 95 Zeichen sind das 4.55. Weit darüber bedeutet, dass etwas falsch skaliert ist; weit darunter bedeutet, dass das Modell Hilfe bekommt, die es nicht haben sollte.
Check 2: kein Schielen
Ändere das letzte Zeichen einer Eingabe. Wenn sich eine Vorhersage für eine frühere Position ändert, kann das Modell die Zukunft sehen (Module 13), und jede Trainingszahl, die du erhältst, ist zu gut, um wahr zu sein.
| Probe | Was es dir sagt | Gesunder Durchlauf |
|---|---|---|
loss_curve(c) | Trainingsverlust alle 25 Schritte und der Verlust auf ungesehenem Text am Ende. Schau immer zuerst. | 4.55 runter auf etwa 2.9; unsichtbar etwa 3.0 |
loss_at_init(c) | Loss vor dem Training. Ein frisches Modell, das gleichmäßig über 95 Zeichen rät, ergibt ln(95). | 4.55 |
leak_check(c) | Kann ein späteres Zeichen eine frühere Vorhersage ändern? | False |
show_batch(c) | Ein Trainingsinput und sein Ziel, als Text. | target = input moved one character left |
update_ratio(c) | Nach dem ersten Adam Schritt, wie weit sich die weights relativ zu ihrer Größe bewegt haben. Nicht die Regel von Modul 8: dieser Bereich von 0.001 bis 0.1 ist für einfache SGD Schritte. Der erste Schritt von Adam bewegt jedes weight um etwa die learning rate egal wie sein gradient ist, und diese weights starten nahe bei 0.02, also ergibt 0.01 / 0.02 etwa 0.5. Vergleiche einen Fall mit diesem gesunden Durchlauf, nicht mit dem Bereich von Modul 8. | etwa 0,5 |
block_change(c) | Wie stark der erste Block jeden Vektor am Anfang ändert. | etwa 0.3 |
Wörter und Symbole in dieser Lektion
- ln(V)
- der Startverlust eines Modells, das gleichmäßig über V Symbole rät: 4.55 für 95 Zeichen
- zu gut um wahr zu sein
- training loss viel besser als ein gesunder Durchlauf, unseen-text loss viel schlechter
- block ändern
- wie sehr stark ein Block einen Vektor zu Beginn ändert; nahe 1 bedeutet, dass er ihn ersetzt hat
Schreibe expected_start(V) und my_leak_check(c), unter Verwendung der eigenen _init, _logits und DATA der Klinik. Sie müssen mit den Sonden der Klinik übereinstimmen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.