Programma Les 204 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Het beste gebruik van een vast Budget

Waarom dit ertoe doet Met een vast compute Budget C, ziet een groter model minder tokens (C = 6 N D). Te groot en het heeft een tekort; te klein en het is vol voordat het Budget op is. In 2022 liet deze berekening (het "Chinchilla" paper) zien dat de meeste grote modellen van die tijd veel te groot waren voor de data waarop ze waren getraind.

Beide effecten tegelijk toepassen:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d past het bij alle 150 runs. Dan voor een budget C, elke breedte N fixeert D = C / (6 N), en de formule voorspelt de loss: kies de breedte met de laagste voorspelling. scaling.params_of(width) geeft de gewichten van een breedte.

Waar het veld nu is Hoffmann et al. (2022, "Chinchilla") pasten dezezelfde twee-variabele vorm toe op grote taalmodellen en vonden de compute-optimale splits op ongeveer 20 trainings tokens per gewicht. Labs trainen nu vaak ver daarboven (veel meer tokens voor een kleiner model), omdat een kleiner model goedkoper is elke keer dat het antwoordt: compute-optimaal voor training is niet optimaal voor gebruik. En wanneer ze een model breder maken, schalen ze de begingewichten en de leerpercentages per laag opnieuw (muP, Yang et al. 2022) zodat het beste leerpercentage gevonden op een klein model nog steeds werkt op het grote: het probleem dat de les "bredere modellen willen kleinere stappen" van Module 13 mat.

Woorden en symbolen in deze les
exponent (alpha, beta)
hoe snel de loss daalt met meer weights (alpha) of meer data (beta)
token
hier, één voorspelling: één teken
FLOPs (6 N D)
trainingskosten: ongeveer 6 operaties per gewicht per token
compute-optimal
de verdeling van een vast Budget tussen modelgrootte en data die de laagste loss geeft
Jij bent aan de beurt

Pas het rooster aan in f. Schrijf plan(f, budget) die de breedte (een macht van 2 van 2 tot 4096) met de laagste voorspelde loss retourneert. Vul choice in voor budgets van 1e9, 1e10 en 1e11 FLOPs.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.