Jou eie klein runs, gekos.
Waarom dit saak maak Skaalvergroting is 'n stelling oor koste: hoeveel beter per eenheid rekenkrag. Elke uitvoering het dus 'n prystikkie nodig, en die prystikkie van opleiding is verrassend eenvoudig.
Opvoering kos ongeveer 6 operasies per gewig per token: 2 vir die forward pass (een vermenigvuldiging, een optelling vir elke gewig) en ongeveer 4 vir die backward pass (gradiënte vir die insets en vir die gewigte). Dit is die FLOP-grootboek-reël wat jy van die beginlyn af gebruik het: scaling.flops(weights, tokens).
Hier train jy drie klein modelle regstreeks, elk op 32,000 tokens van die kursustekst, met 'n kosteververskil van ongeveer 7 keer.
Woorde en simbole in hierdie les
- token
- hier, een voorspelling: een karakter
- FLOPs (6 N D)
- trainingskoste: ongeveer 6 operasies per gewig per token
Train breedtes 4, 16 en 64 vir 32,000 tokens elk (scaling.train(model, 32_000) gee die gehoue verlies). Vul runs met, vir elke breedte, die gewigte, die FLOPs en die verlies. Stel dan cost_ratio in: hoeveel keer meer het die breedte-64 uitvoering gekos as die breedte-4 uitvoering.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.