Kurrikulum Leson 207 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Poort: beplan 'n opleidingsloop (AI af)

Waarom dit saak maak Dit is die besluit waarom skaalwette bestaan: jy het 'n begrooting en een kans. Beplan dit vanuit bewys.

Gate-reëls: AI-tutor af. Jy het 3 x 10^10 FLOPs vir een uitvoering van die kursus se karaktermodel, op dieselfde teks as die rooster. Kies 'n breedte ('n mag van 2) en die aantal tokens wat die begroting dan toelaat. Gebruik die opgetekende rooster op enige manier wat jy wil: pashede, tabelle, albei.

Die kontrole voorspel die verlies van jou keuse en van die beste moontlike keuse met die kursus se twee-veranderlike pas, en dit slaag wanneer joune binne 0.02 van die beste is en jy die begrooting bestee het (binne 1%).

Woorde en simbole in hierdie les
skaleringswet
hoe verlies daal soos gewigte, data of rekenkrag groei, gewoonlik 'n magwet wat na 'n vloer beweeg
token
hier, een voorspelling: een karakter
FLOPs (6 N D)
trainingskoste: ongeveer 6 operasies per gewig per token
Jou beurt

Stel width en tokens in.

AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.