Programma Les 203 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Gewichten, data of rekenkracht: wat houdt het tegen?

Waarom dit ertoe doet Meer uitgeven aan het verkeerde ding koopt niets. Een model dat tekort komt aan data verbetert niet als je het groter maakt; een klein model verbetert niet als je het meer voert. Het rooster laat beide zien, als je weet waar je moet kijken.

Kijk langs een rij van het rooster (één breedte, steeds meer data) en naar beneden een kolom (één hoeveelheid data, steeds bredere modellen).

A run is data-limited wanneer het breder maken van het model nauwelijks helpt (of schaadt) bij die hoeveelheid data. Het is model-limited wanneer meer data nauwelijks helpt bij die breedte.

Woorden en symbolen in deze les
token
hier, één voorspelling: één teken
data-beperkt, model-beperkt
wanneer meer breedte, of meer data, nauwelijks helpt
Jij bent aan de beurt

Vul gain_wider in: voor 8.000 tokens en voor 1,5 miljoen tokens, de daling van de loss van breedte 256 naar breedte 1024. Vul gain_more_data in: voor breedte 2 en voor breedte 1024, de daling van de loss van 512.000 naar 1,5 miljoen tokens. Stel daarna verdict in voor twee hoeken: "data-limited" of "model-limited".

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.