Die resep: twee kontroles voor enigiets anders
Waarom dit saak maak Die meeste gebreekte runs kan in 'n minuut opgevang word deur twee goedkoop kontroles, voordat jy 'n uur spandeer om te oefen.
Ervarene beoefenaars begin elke nuwe opstelling dieselfde manier:
- Kontroleer die verlies aan die begin. Voor opleiding gee 'n 10-klas model wat niks weet vir elke klas ongeveer 0.1, so sy verlies moet ongeveer -ln(0.1) = 2.30 wees. Baie bo daardie beteken iets word verkeerd geskaal. Baie onder beteken die antwoord bereik die model deur sy inputs. Nie elke lek wys hier nie: wanneer verifikasiebeelde ook in die opleidingsstel sit, is die beginverlies normaal (hierdie kliniek se gesonde loop en sy lekgeval begin albei by 2.46), en slegs 'n verifikasieskore wat te goed is, gee dit weg.
- Oorverhit een batch. Skool op 'n enkele klein batch vir 'n paar honderd steps. Enige werkende model en training loop kan 32 voorbeelde memoriseer en die loss naby nul dryf. As dit nie kan nie, is die bug in die model, die loss of die gradients, en jy het dit gevind sonder om die volledige data aan te raak.
- Skaal dan eers op na die volledige run.
Hierdie kliniek is 'n klein syfer-klassifiseerder wat jy doelbewus kan breek. config(**changes) maak 'n opstelling; train(c) hardloop dit.
| Probe | Wat dit vir jou vertel |
|---|---|
loss_curve(c) | Trainingsverlies elke 50 stappe en finale valideringsakkuraatheid. Kyk altyd eerste. |
loss_at_init(c) | Verlies voor opleiding. 'n Vars 10-klas model moet naby ln(10) = 2.30 wees. |
overfit_one_batch(c) | Kan dit 32 voorbeelde onthou? 'n Gesonde opstelling kry naby 0. |
grad_norms(c) | Gradientgrootte per gewigmatriks aan die begin. Nul beteken niks kan leer. |
update_ratio(c) | Gewone SGD stapgrootte relatief tot gewiggrootte. Gesond is ongeveer 0.001 tot 0.1 ('n reël van die duim vir gewone SGD; Module 14 wys waarom Adam verskil). |
act_stats(c) | Verstekte aktiverings: gemiddelde, grootste waarde, aandeel van dooie eenhede. |
lr_schedule(c) | Die leertempo by stappe 0, 50, 100 en so voort.\ |
batch_labels(c) | Die etikette in die eerste paar batches. |
overlap(c) | Hoeveel validasie-voorbeelde verskyn ook in die opleiding. |
Woorde en simbole in hierdie les
- probe
- 'n vinnige meting van 'n run, soos gradient groottes of dead units
- oefit een batch
- kontroleer 'n opstelling kan 'n paar voorbeelde memoriseer
Skryf sanity(c) wat 'n dictionary teruggee met init_ok (verlies aan die begin binne 0.3 van 2.30) en can_overfit (overfit-een-batch verlies onder 0.1), deur die probes te gebruik. Pas dit toe op die gesonde opstelling en op suspect.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.