Voorspel 'n groter run, dan sien dit.
Waarom dit saak maak 'n Pas wat net die runs wat jy het beskryf, is 'n opsomming. 'n Pas wat 'n run voorspel wat jy nie gehad het nie, is 'n wet, ten minste vir nou. Hier is die toets.
Die kursus het een grootte meer opgelei nadat die grid klaar was: breedte 2048, ongeveer 375,000 weights, twee keer die grootste in die grid, op die volle 1.5 miljoen tokens, 3 seeds. Jy het nie sy loss gesien nie.
Gebruik die kragwet van les 3 (een breedte op 'n slag, 1.5 miljoen tokens) om dit te voorspel. Verplig die nommer in die kode, dan maak die opgeneemde resultaat oop.
Woorde en simbole in hierdie les
- wet van mag
- y = A x^-alpha: 'n reguit lyn op log-log asse
- token
- hier, een voorspelling: een karakter
Pas die 1.5-miljoen-token rooster aan met scaling.fit_power_law, stel prediction vir breedte 2048 (scaling.params_of(2048) weights), stel dan actual (die gemiddelde van scaling.recorded_bigger()) en error in. Vergelyk dit met jou instinkingsfout in les 1 deur better_than_my_gut.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.