Je eigen kleine runs, gekost
Waarom dit ertoe doetScaling is een uitspraak over kosten: hoeveel beter per eenheid rekenkracht. Elke run heeft dus een prijs nodig, en de prijs van training is verrassend simpel.
Trainingskosten zijn ongeveer 6 operaties per gewicht per token: 2 voor de forward pass (één vermenigvuldiging, één optelling voor elk gewicht) en ongeveer 4 voor de backward pass (gradiënten voor de inputs en voor de gewichten). Dat is de FLOP Ledger regel die je hebt gebruikt sinds de startlijn: scaling.flops(weights, tokens).
Hier train je drie kleine modellen live, elk op 32,000 tokens van de tekst van de cursus, met een kostenverschil van ongeveer 7 keer.
Woorden en symbolen in deze les
- token
- hier, één voorspelling: één teken
- FLOPs (6 N D)
- trainingskosten: ongeveer 6 operaties per gewicht per token
Train breedtes 4, 16 en 64 voor elk 32,000 tokens (scaling.train(model, 32_000) geeft de held-out loss terug). Vul runs in met voor elke breedte de weights, de FLOPs en de loss. Stel daarna cost_ratio in: hoeveel keer meer de breedte-64 run kostte dan de breedte-4 run.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.