Die beste Nutzung eines festen Budgets
Warum das wichtig ist Mit einem festen Budget C sieht ein größeres Modell weniger Tokens (C = 6 N D). Zu groß und es hungert; zu klein und es ist voll, bevor das Budget erschöpft ist. Im Jahr 2022 zeigte diese Berechnung (das "Chinchilla" Paper), dass die meisten großen Modelle damals viel zu groß für die Daten waren, auf denen sie trainiert wurden.
Beide Effekte gleichzeitig anwenden:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d passt zu allen 150 Durchläufen. Dann fixiert für ein Budget C jede Breite N den Wert D = C / (6 N), und die Formel sagt den Verlust voraus: wähle die Breite mit der niedrigsten Vorhersage. scaling.params_of(width) gibt die Gewichte einer Breite an.
Wo das Feld jetzt ist Hoffmann et al. (2022, "Chinchilla") passten diese gleiche Zwei-Variablen-Form auf große Sprachmodelle an und fanden die compute-optimale Aufteilung bei etwa 20 Trainings-Tokens pro Gewicht. Labs trainieren jetzt oft weit darüber hinaus (viel mehr Tokens für ein kleineres Modell), weil ein kleineres Modell jedes Mal billiger ist, wenn es antwortet: compute-optimal für das Training ist nicht optimal für die Nutzung. Und wenn sie ein Modell breiter machen, skalieren sie seine Startgewichte und die Lernraten pro Schicht (muP, Yang et al. 2022) so, dass die auf einem kleinen Modell gefundene beste Lernrate auf dem großen noch funktioniert: das Problem, das die Lektion "breitere Modelle wollen kleinere Schritte" von Modul 13 maß.
Wörter und Symbole in dieser Lektion
- exponent (alpha, beta)
- wie schnell der Verlust mit mehr Gewichten (alpha) oder mehr Daten (beta) sinkt
- token
- hier, eine Vorhersage: ein Zeichen
- FLOPs (6 N D)
- Trainingskosten: etwa 6 Operationen pro Gewicht pro Token
- compute-optimal
- die Aufteilung eines festen Budgets zwischen Modellgröße und Daten, die den niedrigsten Verlust ergibt
Passe das Gitter in f an. Schreibe plan(f, budget) und gib die Breite (eine Zweierpotenz von 2 bis 4096) mit dem niedrigsten vorhergesagten Verlust zurück. Fülle choice für Budgets von 1e9, 1e10 und 1e11 FLOPs.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.