Lehrplan Lektion 204 von 246 · Modul 19: Größer, und wie viel besser (Skalierungsgesetze)
Modul 19: Größer, und wie viel besser (Skalierungsgesetze)

Die beste Nutzung eines festen Budgets

Warum das wichtig ist Mit einem festen Budget C sieht ein größeres Modell weniger Tokens (C = 6 N D). Zu groß und es hungert; zu klein und es ist voll, bevor das Budget erschöpft ist. Im Jahr 2022 zeigte diese Berechnung (das "Chinchilla" Paper), dass die meisten großen Modelle damals viel zu groß für die Daten waren, auf denen sie trainiert wurden.

Beide Effekte gleichzeitig anwenden:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d passt zu allen 150 Durchläufen. Dann fixiert für ein Budget C jede Breite N den Wert D = C / (6 N), und die Formel sagt den Verlust voraus: wähle die Breite mit der niedrigsten Vorhersage. scaling.params_of(width) gibt die Gewichte einer Breite an.

Wo das Feld jetzt ist Hoffmann et al. (2022, "Chinchilla") passten diese gleiche Zwei-Variablen-Form auf große Sprachmodelle an und fanden die compute-optimale Aufteilung bei etwa 20 Trainings-Tokens pro Gewicht. Labs trainieren jetzt oft weit darüber hinaus (viel mehr Tokens für ein kleineres Modell), weil ein kleineres Modell jedes Mal billiger ist, wenn es antwortet: compute-optimal für das Training ist nicht optimal für die Nutzung. Und wenn sie ein Modell breiter machen, skalieren sie seine Startgewichte und die Lernraten pro Schicht (muP, Yang et al. 2022) so, dass die auf einem kleinen Modell gefundene beste Lernrate auf dem großen noch funktioniert: das Problem, das die Lektion "breitere Modelle wollen kleinere Schritte" von Modul 13 maß.

Wörter und Symbole in dieser Lektion
exponent (alpha, beta)
wie schnell der Verlust mit mehr Gewichten (alpha) oder mehr Daten (beta) sinkt
token
hier, eine Vorhersage: ein Zeichen
FLOPs (6 N D)
Trainingskosten: etwa 6 Operationen pro Gewicht pro Token
compute-optimal
die Aufteilung eines festen Budgets zwischen Modellgröße und Daten, die den niedrigsten Verlust ergibt
Du bist dran

Passe das Gitter in f an. Schreibe plan(f, budget) und gib die Breite (eine Zweierpotenz von 2 bis 4096) mit dem niedrigsten vorhergesagten Verlust zurück. Fülle choice für Budgets von 1e9, 1e10 und 1e11 FLOPs.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.