Lehrplan Lektion 201 von 246 · Modul 19: Größer, und wie viel besser (Skalierungsgesetze)
Modul 19: Größer, und wie viel besser (Skalierungsgesetze)

Deine eigenen kleinen Durchläufe, berechnet

Warum das wichtig istSkalierung ist eine Aussage über Kosten: wie viel besser pro Recheneinheit. Daher braucht jeder Durchlauf einen Preis, und der Preis des Trainings ist überraschend einfach.

Training kostet etwa 6 Operationen pro Gewicht pro Token: 2 für den forward pass (einmal multiplizieren, einmal addieren für jedes Gewicht) und etwa 4 für den backward pass (Gradienten für die Inputs und für die Gewichte). Das ist die FLOP Ledger Regel, die du seit der Startlinie verwendet hast: scaling.flops(weights, tokens).

Hier trainierst du drei kleine Modelle live, jedes auf 32,000 Tokens des Kurstextes, etwa 7 mal auseinander in Kosten.

Wörter und Symbole in dieser Lektion
token
hier, eine Vorhersage: ein Zeichen
FLOPs (6 N D)
Trainingskosten: etwa 6 Operationen pro Gewicht pro Token
Du bist dran

Train-Breiten 4, 16 und 64 für jeweils 32.000 Token (scaling.train(model, 32_000) gibt den gehaltenen Verlust zurück). Fülle runs mit den Gewichten, den FLOPs und dem Verlust für jede Breite. Setze dann cost_ratio: wie viel Mal mehr die Breite-64-Ausführung die Breite-4-Ausführung kostete.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.