Bredere modelle wil kleiner stappe.
Waarom dit saak maak Die learning rate wat vir 'n klein model werk, kan 'n groter een vernietig. Spanne wat groot modelle aanleer, spandeer regte geld om dit uit te vind; jy kan dit van opgetekende runs lees.
Die opgeneemde gpt-width-lr eksperiment het die klein GPT by breedtes 32, 64 en 128 opgelei, elk met leerkoerse 0.001, 0.003 en 0.01, vir 2,000 steps, met drie seeds elk, en het die loss op gehou teks aan die einde gemeet.
Voorspel voordat jy kyk: watter learning rate is die beste vir die breedste model, 128?
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
Stel my_guess in op een van 0.001, 0.003 of 0.01, en vul dan mean_loss: (width, lr) met die gemiddelde finale held-out loss oor die drie seeds (exp.seeds(d=..., lr=...) gee die drie runs; elke run se finale held-out loss is run.val_loss[-1][1]). Vul dan best_lr: width met die leertempo wat die laagste gemiddelde het.
Gebruik dan Module 9 se geraasreël om te sê watter instellings werklik verskil. Met drie saads elk, verskil twee gemiddeltes net werklik as die gaping meer as ongeveer 2 × s × sqrt(2/3) is, waar s die groter van die twee instellings se saadspreidings is (np.std van die drie waardes). Enigiets nader is 'n gelykspel.
Stel ties: width in by die lys van leerkoerse wat gelyk is met daardie breedte se beste (die beste is ingesluit).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.