Gewichten, data of rekenkracht: wat houdt het tegen?
Waarom dit ertoe doet Meer uitgeven aan het verkeerde ding koopt niets. Een model dat tekort komt aan data verbetert niet als je het groter maakt; een klein model verbetert niet als je het meer voert. Het rooster laat beide zien, als je weet waar je moet kijken.
Kijk langs een rij van het rooster (één breedte, steeds meer data) en naar beneden een kolom (één hoeveelheid data, steeds bredere modellen).
A run is data-limited wanneer het breder maken van het model nauwelijks helpt (of schaadt) bij die hoeveelheid data. Het is model-limited wanneer meer data nauwelijks helpt bij die breedte.
Woorden en symbolen in deze les
- token
- hier, één voorspelling: één teken
- data-beperkt, model-beperkt
- wanneer meer breedte, of meer data, nauwelijks helpt
Vul gain_wider in: voor 8.000 tokens en voor 1,5 miljoen tokens, de daling van de loss van breedte 256 naar breedte 1024. Vul gain_more_data in: voor breedte 2 en voor breedte 1024, de daling van de loss van 512.000 naar 1,5 miljoen tokens. Stel daarna verdict in voor twee hoeken: "data-limited" of "model-limited".
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.