Voorspel een grotere run, en zie het dan.
Waarom dit ertoe doet Een fit die alleen de runs beschrijft die je hebt is een samenvatting. Een fit die een run voorspelt die je niet had is een wet, tenminste voor nu. Hier is de test.
De cursus trainde nog één maat nadat het grid klaar was: breedte 2048, ongeveer 375.000 weights, twee keer de grootste in het grid, op de volledige 1,5 miljoen tokens, 3 seeds. Je hebt de loss ervan niet gezien.
Gebruik de power law uit les 3 (één breedte tegelijk, 1.5 miljoen tokens) om het te voorspellen. Commit het getal in de code, open dan het opgeslagen resultaat.
Woorden en symbolen in deze les
- power law
- y = A x^-alpha: een rechte lijn op log-log assen
- token
- hier, één voorspelling: één teken
Pas het grid van 1,5 miljoen tokens aan met scaling.fit_power_law, stel prediction in voor breedte 2048 (scaling.params_of(2048) weights), stel daarna actual (het gemiddelde van scaling.recorded_bigger()) en error in. Vergelijk het met je intuïtieve fout in les 1 door better_than_my_gut.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.