Kliniek: learning-rate foute
Waarom dit saak maak Die learning rate is die algemeenste oorsaak van 'n swak run. Elke soort fout laat 'n verskillende merk achter.
Te veel te hoog: stappe skuif oor die teiken, die loss spring rond of klim, en die update-to-weight-verhouding is naby of bo 1. Te laag: byna niks beweeg nie, die loss bly naby 2.30 en die verhouding is klein. Te vroeg gestop: die run leer vir 'n rukkie, dan hou dit op om te verbeter. Van daardie oomblik af wankel die loss net van batch tot batch rondom 'n matige vlak (hier tussen ongeveer 1.1 en 1.5). Die skedule wys die koers wat ineenstort.
Elke geval hieronder is 'n oefening met een fout wat daarin geplaas is. Vir elk een: gebruik probes om die fout te vind, en skryf dan 'n regstelling as config veranderinge. Die foute in hierdie les: lr_too_high, lr_too_low, lr_dropped_early. Minder probes is beter; 'n goeie diagnostikus het selde meer as twee per geval nodig.
| Probe | Wat dit vir jou vertel |
|---|---|
loss_curve(c) | Treiningsverlies elke 50 stappe en finale validasie-akkuraatheid. Kyk altyd eerste. |
loss_at_init(c) | Loss voor opleiding. 'n Vars 10-klas model moet naby ln(10) = 2.30 wees. |
overfit_one_batch(c) | Kan dit 32 voorbeelde onthou? 'n Gesonde opstelling kry naby 0. |
grad_norms(c) | Gradientgrootte per gewigmatriks aan die begin. Nul beteken niks kan leer. |
update_ratio(c) | Gewone SGD stapgrootte relatief tot gewiggrootte. Gesond is ongeveer 0.001 tot 0.1 (n reël van die duim vir gewone SGD; Module 14 wys waarom Adam verskil). |
act_stats(c) | Verstekte aktiverings: gemiddelde, grootste waarde, aandeel van dooie eenhede. |
lr_schedule(c) | Die leertempo by stappe 0, 50, 100 en so voort.\ |
batch_labels(c) | Die etikette in die eerste paar batches. |
overlap(c) | Hoeveel validasie-voorbeelde verskyn ook in die opleiding. |
Woorde en simbole in hierdie les
- probe
- 'n vinnige meting van 'n run, soos gradiëntgroottes of dooie eenhede
- opdater-tot-gewig-verhouding
- hoeveel een stap elke gewig verander, relatief tot sy grootte
Vul diagnosis (geval tot foutnaam) en fixes (geval tot 'n woordeboek van konfigurasiewysigings) in vir gevalle A, B en C. 'n Regstelling moet die fout verwyder en tot ten minste 90% validasie-akkuraatheid oplei.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.