Sage einen größeren Durchlauf voraus, dann sieh ihn dir an.
Warum das wichtig ist Ein Fit, der nur die Läufe beschreibt, die du hast, ist eine Zusammenfassung. Ein Fit, der einen Lauf vorhersagt, den du nicht hattest, ist ein Prinzip, zumindest für jetzt. Hier ist der Test.
Der Kurs hat noch eine weitere Größe trainiert, nachdem das Grid fertig war: Breite 2048, etwa 375.000 weights, doppelt so groß wie das größte im Grid, auf den vollen 1,5 Millionen tokens, 3 seeds. Du hast seinen loss noch nicht gesehen.
Nutze das Potenzgesetz aus Lektion 3 (eine Breite zur Zeit, 1,5 Millionen Tokens), um es vorherzusagen. Committe die Zahl im Code und öffne dann das aufgezeichnete Ergebnis.
Wörter und Symbole in dieser Lektion
- power law
- y = A x^-alpha: eine gerade Linie auf log-log Achsen
- token
- hier, eine Vorhersage: ein Zeichen
Passe das 1,5-Millionen-Token-Gitter mit scaling.fit_power_law an, setze prediction für die Breite 2048 (scaling.params_of(2048) weights), dann setze actual (den Mittelwert von scaling.recorded_bigger()) und error. Vergleiche es mit deinem Bauchgefühl-Fehler aus Lektion 1, indem du better_than_my_gut.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.