Kurrikulum Leson 202 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Pas 'n magwet met 'n vloer aan

Waarom dit saak maak "Bigger is better" is nutteloos vir beplanning. "Loss falls as weights to the power -0.5, towards a floor of 1.6" laat jou 'n getal op 'n run sit wat jy nog nie betaal het nie. Om daardie getal te kry, en hoe seker jy daarvan is, is die vaardigheid.

Die vorm wat die meeste skaaldata pas:

loss = E + A N^(-alpha)

N is die aantal wegte, alpha die exponent (hoe vinnig dit verbeter), en E die floor: die verlies wat geen model van hierdie familie op hierdie data kan verslaan nie. 'n Deel hiervan is die teks wat onvoorspelbaar is; 'n deel is die familie se eie limiet (hierdie model sien net altyd 8 karakters terug). 'n Ander familie, sê een wat verder terug lees, het 'n laer floor. Sonder die floor onderskat 'n aanpassing op klein modelle hoeveel die groot modelle wen.

Hoe om dit te pas: vir elke kandidaat vloer E tussen 0 en net onder die kleinste verlies, neem logs, log(loss - E) = log A - alpha log N, wat 'n reguit lyn is, en pas dit met kwadraatsminste metode. Hou die E waarvan die kurwe die kleinste gekwadraatde fout op die verlore waardes self het.

Foutbalke: daar is 3 saadpunte per grootte. Pas veel keer by, kies elke keer een saadpunt bykansel vir elke grootte (n bootstrap), en kyk na die spreiding van alpha. Kyk na die toneel: dieselfde punte, die aangepaste kurwe met en sonder 'n vloer, en die band van bootstrap passings.

Woorde en simbole in hierdie les
wet van mag
y = A x^-alpha: 'n reguit lyn op log-log asse
exponent (alpha, beta)
hoe vinnig die verlies daal met meer gewigte (alpha) of meer data (beta)
vloer (E)
die verlies wat geen model op hierdie data kan verslaan nie
token
hier, een voorspelling: een karakter
bootstrap
refitting op gehermonsterde data om te sien hoeveel 'n gefitte getal sou skuif
Jou beurt

Skryf fit(N, loss) wat (E, A, alpha) teruggee soos beskryf (400 kandidaat vloere van 0 tot 0.999 x die kleinste verlies). Pas die 1.5-miljoen-token runs (een gemiddelde per breedte) aan in main, hardloop dan 100 bootstrap refits en stel interval op die 5de en 95ste persentiel van alpha.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.