Die train/eval-valstrik
Waarom dit saak maak 'n model wat goed presteer in toetsing maar sleg in gebruik, sonder enige duidelike rede, is baie dikwels hierdie bug. Dit het ervare ingenieurs mislei.
'n klein klassifiseerder het 'n BatchNorm-laag. Dit is korrek opgelei en die loopgemiddeldes is goed. Op die toetsverzameling, geskopre in groot batches, doen dit goed. As dit op een voorbeeld teen 'n slag gebruik word, is dit veel te dikwels verkeerd.
Speurwerk eerste: druk uit wat die BatchNorm-laag vir twee verskillende voorbeelde uitgooi, en vra jouself watter statistieke dit normaliseer. Werk dit uit vanaf wat jy druk; die drie wenke help jou daarheen as jy vasbrand.
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
- BatchNorm (gamma, beta)
- normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
predict_one(x) word op een voorbeeld teen 'n slag gebruik, en sy akkuraatheid is swak. Vind uit hoekom, dan reg predict_one sodat die gehoue akkuraatheid ten minste 90% is. Stel cause in op 'n kort frase wat die oorsaak benoem.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.