Pas 'n magwet met 'n vloer aan
Waarom dit saak maak "Bigger is better" is nutteloos vir beplanning. "Loss falls as weights to the power -0.5, towards a floor of 1.6" laat jou 'n getal op 'n run sit wat jy nog nie betaal het nie. Om daardie getal te kry, en hoe seker jy daarvan is, is die vaardigheid.
Die vorm wat die meeste skaaldata pas:
loss = E + A N^(-alpha)
N is die aantal wegte, alpha die exponent (hoe vinnig dit verbeter), en E die floor: die verlies wat geen model van hierdie familie op hierdie data kan verslaan nie. 'n Deel hiervan is die teks wat onvoorspelbaar is; 'n deel is die familie se eie limiet (hierdie model sien net altyd 8 karakters terug). 'n Ander familie, sê een wat verder terug lees, het 'n laer floor. Sonder die floor onderskat 'n aanpassing op klein modelle hoeveel die groot modelle wen.
Hoe om dit te pas: vir elke kandidaat vloer E tussen 0 en net onder die kleinste verlies, neem logs, log(loss - E) = log A - alpha log N, wat 'n reguit lyn is, en pas dit met kwadraatsminste metode. Hou die E waarvan die kurwe die kleinste gekwadraatde fout op die verlore waardes self het.
Foutbalke: daar is 3 saadpunte per grootte. Pas veel keer by, kies elke keer een saadpunt bykansel vir elke grootte (n bootstrap), en kyk na die spreiding van alpha. Kyk na die toneel: dieselfde punte, die aangepaste kurwe met en sonder 'n vloer, en die band van bootstrap passings.
Woorde en simbole in hierdie les
- wet van mag
- y = A x^-alpha: 'n reguit lyn op log-log asse
- exponent (alpha, beta)
- hoe vinnig die verlies daal met meer gewigte (alpha) of meer data (beta)
- vloer (E)
- die verlies wat geen model op hierdie data kan verslaan nie
- token
- hier, een voorspelling: een karakter
- bootstrap
- refitting op gehermonsterde data om te sien hoeveel 'n gefitte getal sou skuif
Skryf fit(N, loss) wat (E, A, alpha) teruggee soos beskryf (400 kandidaat vloere van 0 tot 0.999 x die kleinste verlies). Pas die 1.5-miljoen-token runs (een gemiddelde per breedte) aan in main, hardloop dan 100 bootstrap refits en stel interval op die 5de en 95ste persentiel van alpha.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.