Lehrplan Lektion 207 von 246 · Modul 19: Größer, und wie viel besser (Skalierungsgesetze)
Modul 19: Größer, und wie viel besser (Skalierungsgesetze)

Tor: plane einen Trainingslauf (KI aus)

Warum das wichtig ist Dies sind die Skalierungsgesetze für Entscheidungen: du hast ein Budget und einen Versuch. Plane es basierend auf Beweisen.

Gate-Regeln: KI aus. Du hast 3 x 10^10 FLOPs für einen Durchlauf des Charaktermodells des Kurses, auf demselben Text wie das Gitter. Wähle eine Breite (eine Zweierpotenz) und die Anzahl der Tokens, die das Budget dann erlaubt. Nutze das aufgezeichnete Gitter ganz wie du möchtest: Fits, Tabellen, beides.

Die Prüfung sagt den Verlust deiner Wahl und der bestmöglichen Wahl mit dem Zwei-Variablen-Fit des Kurses voraus und ist bestanden, wenn deine Wahl innerhalb von 0.02 der besten liegt und du das Budget (innerhalb von 1%) ausgegeben hast.

Wörter und Symbole in dieser Lektion
scaling law
Wie der Verlust sinkt, wenn Gewichte, Daten oder Rechenleistung wachsen, meist ein Potenzgesetz in Richtung einer Untergrenze
token
hier, eine Vorhersage: ein Zeichen
FLOPs (6 N D)
Trainingskosten: etwa 6 Operationen pro Gewicht pro Token
Du bist dran

Setze width und tokens.

KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.