Kliniek: te goed, of te vasgebrand
Waarom dit saak maak Die gevaarlikste runs is die een wat goed lyk. 'n Model wat sy eie antwoorde kan sien, rapporteer 'n wonderlike training loss en is nutteloos.
Geen masker nie: die model kan na die volgende karakter loer, so sy opleidingsverlies daal verder as dié van 'n gesonde lopie, terwyl sy verlies op ongesiene teks (eerlik gemeet, net uit vroeëre karakters) baie erger is. Teikens nie verskuif nie: die teiken is die invoer self, so die model leer om die karakter waarna dit kyk te kopieer. Die opleidingsverlies gaan na amper 0, en op ongesiene teks is dit verskriklik. Geen residu nie: elke blok vervang h in plaas daarvan om daarby te tel, so die stapel is moeilik om op te lei en die verlies steek vroeg vas.
Elke geval hieronder is 'n oefenloop met een fout wat daarin geplaas is. Vir elk een: gebruik probes om die fout te vind, en skryf dan 'n regstelling as config veranderinge wat die loop weer gesond maak. Die foute in hierdie les: no_mask, targets_not_shifted, no_residual. 'n Goeie diagnostiseerder het selde meer as twee probes per geval nodig.
| Probe | Wat dit vir jou vertel | Gesonde hardloop |
|---|---|---|
loss_curve(c) | Treiningsverlies elke 25 stappe, en die verlies op ongesiene teks aan die einde. Kyk altyd eerste. | 4.55 af tot ongeveer 2.9; onsigbaar by ongeveer 3.0 |
loss_at_init(c) | Verlies voor opleiding. 'n Vars model wat gelyk oor 95 karakters raai, gee ln(95). | 4.55 |
leak_check(c) | Kan 'n latere karakter 'n vroeëre voorspelling verander? | Vals |
show_batch(c) | Een opleidingsinput en sy teiken, as teks. | target = input skuif een karakter links |
update_ratio(c) | Na die eerste Adam-stap, hoe ver het gewigte beweeg relatief tot hul grootte. Nie Module 8 se reël nie: daardie 0.001 tot 0.1 reeks is vir gewone SGD-stappe. Adam se eerste stap skuif elke gewig teen ongeveer die learning rate ongeag sy gradient, en hierdie gewigte begin naby 0.02, so 0.01 / 0.02 gee ongeveer 0.5. Vergelyk 'n geval met hierdie gesonde loop, nie met Module 8 se reeks nie. | ongeveer 0.5 |
block_change(c) | Hoeveel die eerste blok elke vektor aan die begin verander. | ongeveer 0.3 |
Woorde en simbole in hierdie les
- ln(V)
- die beginverlies van 'n model wat gelykverdelig oor V simbole raai: 4.55 vir 95 karakters
- veranderblok
- hoeveel een blok 'n vektor aan die begin verander; naby 1 beteken dit het dit vervang
Vul diagnosis (geval tot foutnaam) en fixes (geval tot 'n woordeboek van konfigurasiewysigings) in vir gevalle A, B en C. Na jou regstelling moet elke instelling ooreenstem met die gesonde uitvoering.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.