Programma Les 202 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Een power law met een floor aanpassen

Waarom dit ertoe doet "Bigger is better" is nutteloos voor planning. "Loss falls as weights to the power -0.5, towards a floor of 1.6" laat je een getal geven aan een run waar je niet voor hebt betaald. Dat getal krijgen, en hoe zeker je daarvan bent, is de vaardigheid.

De vorm die het beste bij de meeste schaalgegevens past:

loss = E + A N^(-alpha)

N is het aantal weights, alpha de exponent (hoe snel het verbetert), en E de floor: de loss die geen model van deze familie op deze data kan verslaan. Een deel hiervan is dat de tekst onvoorspelbaar is; een deel is de eigen limiet van de familie (dit model ziet alleen ooit 8 karakters terug). Een andere familie, bijvoorbeeld een die verder terug leest, heeft een lagere floor. Zonder de floor overschat een fit op kleine modellen hoeveel de grote modellen winnen.

Hoe je het past: voor elke kandidaat vloer E tussen 0 en net onder de kleinste loss, neem logs, log(loss - E) = log A - alpha log N, wat een rechte lijn is, en pas het aan met de kleinste kwadraten. Houd de E waarvan de curve de kleinste kwadratische fout op de losses zelf heeft.

Error bars: er zijn 3 seeds per grootte. Pas veel keren opnieuw aan, kies elke keer een seed willekeurig voor elke grootte (een bootstrap), en kijk naar de spreiding van alpha. Kijk naar de scène: dezelfde punten, de gefitte curve met en zonder een vloer, en de band van bootstrap fits.

Woorden en symbolen in deze les
power law
y = A x^-alpha: een rechte lijn op log-log assen
exponent (alpha, beta)
hoe snel de loss daalt met meer weights (alpha) of meer data (beta)
floor (E)
de loss die geen model kan verslaan op deze data
token
hier, één voorspelling: één teken
bootstrap
refitting op opnieuw bemonsterde data om te zien hoeveel een gefitte waarde zou bewegen
Jij bent aan de beurt

Schrijf fit(N, loss) die (E, A, alpha) retourneert zoals beschreven (400 kandidaat vloeren van 0 tot 0.999 x de kleinste verlies). Pas de 1,5-miljoen-token runs (één gemiddelde per breedte) aan in main, voer dan 100 bootstrap refits uit en stel interval in op de 5e en 95e percentiel van alpha.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.