Kurrikulum Leson 94 van 246 · Module 8: Run Kliniek I
Module 8: Run Kliniek I

Die resep: twee kontroles voor enigiets anders

Waarom dit saak maak Die meeste gebreekte runs kan in 'n minuut opgevang word deur twee goedkoop kontroles, voordat jy 'n uur spandeer om te oefen.

Ervarene beoefenaars begin elke nuwe opstelling dieselfde manier:

  1. Kontroleer die verlies aan die begin. Voor opleiding gee 'n 10-klas model wat niks weet vir elke klas ongeveer 0.1, so sy verlies moet ongeveer -ln(0.1) = 2.30 wees. Baie bo daardie beteken iets word verkeerd geskaal. Baie onder beteken die antwoord bereik die model deur sy inputs. Nie elke lek wys hier nie: wanneer verifikasiebeelde ook in die opleidingsstel sit, is die beginverlies normaal (hierdie kliniek se gesonde loop en sy lekgeval begin albei by 2.46), en slegs 'n verifikasieskore wat te goed is, gee dit weg.
  2. Oorverhit een batch. Skool op 'n enkele klein batch vir 'n paar honderd steps. Enige werkende model en training loop kan 32 voorbeelde memoriseer en die loss naby nul dryf. As dit nie kan nie, is die bug in die model, die loss of die gradients, en jy het dit gevind sonder om die volledige data aan te raak.
  3. Skaal dan eers op na die volledige run.

Hierdie kliniek is 'n klein syfer-klassifiseerder wat jy doelbewus kan breek. config(**changes) maak 'n opstelling; train(c) hardloop dit.

ProbeWat dit vir jou vertel
loss_curve(c)Trainingsverlies elke 50 stappe en finale valideringsakkuraatheid. Kyk altyd eerste.
loss_at_init(c)Verlies voor opleiding. 'n Vars 10-klas model moet naby ln(10) = 2.30 wees.
overfit_one_batch(c)Kan dit 32 voorbeelde onthou? 'n Gesonde opstelling kry naby 0.
grad_norms(c)Gradientgrootte per gewigmatriks aan die begin. Nul beteken niks kan leer.
update_ratio(c)Gewone SGD stapgrootte relatief tot gewiggrootte. Gesond is ongeveer 0.001 tot 0.1 ('n reël van die duim vir gewone SGD; Module 14 wys waarom Adam verskil).
act_stats(c)Verstekte aktiverings: gemiddelde, grootste waarde, aandeel van dooie eenhede.
lr_schedule(c)Die leertempo by stappe 0, 50, 100 en so voort.\
batch_labels(c)Die etikette in die eerste paar batches.
overlap(c)Hoeveel validasie-voorbeelde verskyn ook in die opleiding.
Woorde en simbole in hierdie les
probe
'n vinnige meting van 'n run, soos gradient groottes of dead units
oefit een batch
kontroleer 'n opstelling kan 'n paar voorbeelde memoriseer
Jou beurt

Skryf sanity(c) wat 'n dictionary teruggee met init_ok (verlies aan die begin binne 0.3 van 2.30) en can_overfit (overfit-een-batch verlies onder 0.1), deur die probes te gebruik. Pas dit toe op die gesonde opstelling en op suspect.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.