Kurrikulum Leson 97 van 246 · Module 8: Run Kliniek I
Module 8: Run Kliniek I

Kliniek: datafoute

Hoekom dit saak maak "Die fout is altyd in die model" is vals. Datafoute is algemeen en hulle skuil goed, omdat die training loop self reg is.

Lekkage: die validasieset bevat opleidingsvoorbeelde, so validasie-akkuraatheid lyk wondervol en beteken niks nie. Nie skuif nie: batches kom een klas op 'n slag, die model jaag die klas wat dit laas gesien het, en akkuraatheid op gemengde data is swak. Verkeerde etikette: baie opleidingsetikette is willekeurig, so die opleidingsverlies kan nie ver daal nie selfs al kan die model 'n batch memoriseer.

Elke geval hieronder is 'n oefeningsronde met een fout wat daarin geplaas is. Vir elk een: gebruik probes om die fout te vind, en skryf dan 'n regstelling as config veranderinge. Die foute in hierdie les: leak, no_shuffle, noisy_labels. Minder probes is beter; 'n goeie diagnostikus het selde meer as twee per geval nodig.

ProbeWat dit vir jou vertel
loss_curve(c)Trainingsverlies elke 50 stappe en finale validasie-akkuraatheid. Kyk altyd eerste.
loss_at_init(c)Loss voor opleiding. 'n Vars 10-klas model moet naby ln(10) = 2.30 wees.
overfit_one_batch(c)Kan dit 32 voorbeelde onthou? 'n Gesonde opstelling kry naby 0.
grad_norms(c)Gradientgrootte per gewigmatriks aan die begin. Nul beteken niks kan leer.
update_ratio(c)Gewone SGD stapgrootte relatief tot gewiggrootte. Gesond is ongeveer 0.001 tot 0.1 (n reël van die duim vir gewone SGD; Module 14 wys waarom Adam verskil).
act_stats(c)Verstekte aktiverings: gemiddelde, grootste waarde, aandeel van dooie eenhede.
lr_schedule(c)Die leertempo by stappe 0, 50, 100 en so voort.\
batch_labels(c)Die etikette in die eerste paar batches.
overlap(c)Hoeveel vasifoutvoorbeelde verskyn ook in die opleiding.
Woorde en simbole in hierdie les
probe
'n vinnige meting van 'n run, soos gradient groottes of dead units
leakage
toets of vasifoutsinlike inligting wat opleiding bereik
Jou beurt

Vul diagnosis (geval tot foutnaam) en fixes (geval tot 'n woordeboek van konfigurasiewysigings) in vir gevalle A, B en C. 'n Regstelling moet die fout verwyder en tot ten minste 90% validasie-akkuraatheid oplei.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.