Kurrikulum Leson 205 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Voorspel 'n groter run, dan sien dit.

Waarom dit saak maak 'n Pas wat net die runs wat jy het beskryf, is 'n opsomming. 'n Pas wat 'n run voorspel wat jy nie gehad het nie, is 'n wet, ten minste vir nou. Hier is die toets.

Die kursus het een grootte meer opgelei nadat die grid klaar was: breedte 2048, ongeveer 375,000 weights, twee keer die grootste in die grid, op die volle 1.5 miljoen tokens, 3 seeds. Jy het nie sy loss gesien nie.

Gebruik die kragwet van les 3 (een breedte op 'n slag, 1.5 miljoen tokens) om dit te voorspel. Verplig die nommer in die kode, dan maak die opgeneemde resultaat oop.

Woorde en simbole in hierdie les
wet van mag
y = A x^-alpha: 'n reguit lyn op log-log asse
token
hier, een voorspelling: een karakter
Jou beurt

Pas die 1.5-miljoen-token rooster aan met scaling.fit_power_law, stel prediction vir breedte 2048 (scaling.params_of(2048) weights), stel dan actual (die gemiddelde van scaling.recorded_bigger()) en error in. Vergelyk dit met jou instinkingsfout in les 1 deur better_than_my_gut.

in te stel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.