Kurrikulum Leson 82 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

Die train/eval-valstrik

Waarom dit saak maak 'n model wat goed presteer in toetsing maar sleg in gebruik, sonder enige duidelike rede, is baie dikwels hierdie bug. Dit het ervare ingenieurs mislei.

'n klein klassifiseerder het 'n BatchNorm-laag. Dit is korrek opgelei en die loopgemiddeldes is goed. Op die toetsverzameling, geskopre in groot batches, doen dit goed. As dit op een voorbeeld teen 'n slag gebruik word, is dit veel te dikwels verkeerd.

Speurwerk eerste: druk uit wat die BatchNorm-laag vir twee verskillende voorbeelde uitgooi, en vra jouself watter statistieke dit normaliseer. Werk dit uit vanaf wat jy druk; die drie wenke help jou daarheen as jy vasbrand.

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
BatchNorm (gamma, beta)
normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
Jou beurt

predict_one(x) word op een voorbeeld teen 'n slag gebruik, en sy akkuraatheid is swak. Vind uit hoekom, dan reg predict_one sodat die gehoue akkuraatheid ten minste 90% is. Stel cause in op 'n kort frase wat die oorsaak benoem.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.