Programma Les 201 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Je eigen kleine runs, gekost

Waarom dit ertoe doetScaling is een uitspraak over kosten: hoeveel beter per eenheid rekenkracht. Elke run heeft dus een prijs nodig, en de prijs van training is verrassend simpel.

Trainingskosten zijn ongeveer 6 operaties per gewicht per token: 2 voor de forward pass (één vermenigvuldiging, één optelling voor elk gewicht) en ongeveer 4 voor de backward pass (gradiënten voor de inputs en voor de gewichten). Dat is de FLOP Ledger regel die je hebt gebruikt sinds de startlijn: scaling.flops(weights, tokens).

Hier train je drie kleine modellen live, elk op 32,000 tokens van de tekst van de cursus, met een kostenverschil van ongeveer 7 keer.

Woorden en symbolen in deze les
token
hier, één voorspelling: één teken
FLOPs (6 N D)
trainingskosten: ongeveer 6 operaties per gewicht per token
Jij bent aan de beurt

Train breedtes 4, 16 en 64 voor elk 32,000 tokens (scaling.train(model, 32_000) geeft de held-out loss terug). Vul runs in met voor elke breedte de weights, de FLOPs en de loss. Stel daarna cost_ratio in: hoeveel keer meer de breedte-64 run kostte dan de breedte-4 run.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.