Breitere Modelle wollen kleinere Schritte
Warum das wichtig ist Die Lernrate, die für ein kleines Modell funktioniert, kann ein größeres ruinieren. Teams, die große Modelle trainieren, geben echtes Geld aus, um das herauszufinden; du kannst es aus den aufgezeichneten Durchläufen ablesen.
Das aufgezeichnete gpt-width-lr Experiment trainierte das winzige GPT bei Breiten 32, 64 und 128, jeweils mit Lernraten 0.001, 0.003 und 0.01, für 2,000 steps, mit jeweils drei seeds, und maß den loss auf gehaltenem Text am Ende.
Vorhersage vor dem Schauen: welche learning rate ist am besten für das breiteste Modell, 128?
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
Setze my_guess auf einen von 0.001, 0.003 oder 0.01, dann fülle mean_loss: (width, lr) mit dem durchschnittlichen finalen held-out loss über die drei seeds (exp.seeds(d=..., lr=...) gibt die drei Durchläufe an; der finale held-out loss jedes Durchlaufs ist run.val_loss[-1][1]). Fülle dann best_lr: width mit der learning rate mit dem niedrigsten Durchschnitt.
Verwende dann die Noise-Regel aus Modul 9, um zu sagen, welche Einstellungen sich wirklich unterscheiden. Mit jeweils drei Seeds unterscheiden sich zwei Durchschnitte nur dann wirklich, wenn die Lücke mehr als etwa 2 × s × sqrt(2/3) beträgt, wobei s die größere der beiden Seed-Streuungen der Einstellungen ist (np.std der drei Werte). Alles, was näher liegt, ist ein Unentschieden.
Set ties: width auf die Liste der Lernraten, die mit der besten dieser Breite gleichauf liegen (die beste ist enthalten).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.