Een power law met een floor aanpassen
Waarom dit ertoe doet "Bigger is better" is nutteloos voor planning. "Loss falls as weights to the power -0.5, towards a floor of 1.6" laat je een getal geven aan een run waar je niet voor hebt betaald. Dat getal krijgen, en hoe zeker je daarvan bent, is de vaardigheid.
De vorm die het beste bij de meeste schaalgegevens past:
loss = E + A N^(-alpha)
N is het aantal weights, alpha de exponent (hoe snel het verbetert), en E de floor: de loss die geen model van deze familie op deze data kan verslaan. Een deel hiervan is dat de tekst onvoorspelbaar is; een deel is de eigen limiet van de familie (dit model ziet alleen ooit 8 karakters terug). Een andere familie, bijvoorbeeld een die verder terug leest, heeft een lagere floor. Zonder de floor overschat een fit op kleine modellen hoeveel de grote modellen winnen.
Hoe je het past: voor elke kandidaat vloer E tussen 0 en net onder de kleinste loss, neem logs, log(loss - E) = log A - alpha log N, wat een rechte lijn is, en pas het aan met de kleinste kwadraten. Houd de E waarvan de curve de kleinste kwadratische fout op de losses zelf heeft.
Error bars: er zijn 3 seeds per grootte. Pas veel keren opnieuw aan, kies elke keer een seed willekeurig voor elke grootte (een bootstrap), en kijk naar de spreiding van alpha. Kijk naar de scène: dezelfde punten, de gefitte curve met en zonder een vloer, en de band van bootstrap fits.
Woorden en symbolen in deze les
- power law
- y = A x^-alpha: een rechte lijn op log-log assen
- exponent (alpha, beta)
- hoe snel de loss daalt met meer weights (alpha) of meer data (beta)
- floor (E)
- de loss die geen model kan verslaan op deze data
- token
- hier, één voorspelling: één teken
- bootstrap
- refitting op opnieuw bemonsterde data om te zien hoeveel een gefitte waarde zou bewegen
Schrijf fit(N, loss) die (E, A, alpha) retourneert zoals beschreven (400 kandidaat vloeren van 0 tot 0.999 x de kleinste verlies). Pas de 1,5-miljoen-token runs (één gemiddelde per breedte) aan in main, voer dan 100 bootstrap refits uit en stel interval in op de 5e en 95e percentiel van alpha.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.