Het beste gebruik van een vast Budget
Waarom dit ertoe doet Met een vast compute Budget C, ziet een groter model minder tokens (C = 6 N D). Te groot en het heeft een tekort; te klein en het is vol voordat het Budget op is. In 2022 liet deze berekening (het "Chinchilla" paper) zien dat de meeste grote modellen van die tijd veel te groot waren voor de data waarop ze waren getraind.
Beide effecten tegelijk toepassen:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d past het bij alle 150 runs. Dan voor een budget C, elke breedte N fixeert D = C / (6 N), en de formule voorspelt de loss: kies de breedte met de laagste voorspelling. scaling.params_of(width) geeft de gewichten van een breedte.
Waar het veld nu is Hoffmann et al. (2022, "Chinchilla") pasten dezezelfde twee-variabele vorm toe op grote taalmodellen en vonden de compute-optimale splits op ongeveer 20 trainings tokens per gewicht. Labs trainen nu vaak ver daarboven (veel meer tokens voor een kleiner model), omdat een kleiner model goedkoper is elke keer dat het antwoordt: compute-optimaal voor training is niet optimaal voor gebruik. En wanneer ze een model breder maken, schalen ze de begingewichten en de leerpercentages per laag opnieuw (muP, Yang et al. 2022) zodat het beste leerpercentage gevonden op een klein model nog steeds werkt op het grote: het probleem dat de les "bredere modellen willen kleinere stappen" van Module 13 mat.
Woorden en symbolen in deze les
- exponent (alpha, beta)
- hoe snel de loss daalt met meer weights (alpha) of meer data (beta)
- token
- hier, één voorspelling: één teken
- FLOPs (6 N D)
- trainingskosten: ongeveer 6 operaties per gewicht per token
- compute-optimal
- de verdeling van een vast Budget tussen modelgrootte en data die de laagste loss geeft
Pas het rooster aan in f. Schrijf plan(f, budget) die de breedte (een macht van 2 van 2 tot 4096) met de laagste voorspelde loss retourneert. Vul choice in voor budgets van 1e9, 1e10 en 1e11 FLOPs.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.