Programma Les 205 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Voorspel een grotere run, en zie het dan.

Waarom dit ertoe doet Een fit die alleen de runs beschrijft die je hebt is een samenvatting. Een fit die een run voorspelt die je niet had is een wet, tenminste voor nu. Hier is de test.

De cursus trainde nog één maat nadat het grid klaar was: breedte 2048, ongeveer 375.000 weights, twee keer de grootste in het grid, op de volledige 1,5 miljoen tokens, 3 seeds. Je hebt de loss ervan niet gezien.

Gebruik de power law uit les 3 (één breedte tegelijk, 1.5 miljoen tokens) om het te voorspellen. Commit het getal in de code, open dan het opgeslagen resultaat.

Woorden en symbolen in deze les
power law
y = A x^-alpha: een rechte lijn op log-log assen
token
hier, één voorspelling: één teken
Jij bent aan de beurt

Pas het grid van 1,5 miljoen tokens aan met scaling.fit_power_law, stel prediction in voor breedte 2048 (scaling.params_of(2048) weights), stel daarna actual (het gemiddelde van scaling.recorded_bigger()) en error in. Vergelijk het met je intuïtieve fout in les 1 door better_than_my_gut.

in te stellen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.