Kurrikulum Leson 201 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Jou eie klein runs, gekos.

Waarom dit saak maak Skaalvergroting is 'n stelling oor koste: hoeveel beter per eenheid rekenkrag. Elke uitvoering het dus 'n prystikkie nodig, en die prystikkie van opleiding is verrassend eenvoudig.

Opvoering kos ongeveer 6 operasies per gewig per token: 2 vir die forward pass (een vermenigvuldiging, een optelling vir elke gewig) en ongeveer 4 vir die backward pass (gradiënte vir die insets en vir die gewigte). Dit is die FLOP-grootboek-reël wat jy van die beginlyn af gebruik het: scaling.flops(weights, tokens).

Hier train jy drie klein modelle regstreeks, elk op 32,000 tokens van die kursustekst, met 'n kosteververskil van ongeveer 7 keer.

Woorde en simbole in hierdie les
token
hier, een voorspelling: een karakter
FLOPs (6 N D)
trainingskoste: ongeveer 6 operasies per gewig per token
Jou beurt

Train breedtes 4, 16 en 64 vir 32,000 tokens elk (scaling.train(model, 32_000) gee die gehoue verlies). Vul runs met, vir elke breedte, die gewigte, die FLOPs en die verlies. Stel dan cost_ratio in: hoeveel keer meer het die breedte-64 uitvoering gekos as die breedte-4 uitvoering.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.