Vind en herstel die geplant word bug
Hoekom dit saak maak Die ergste foute in masjienleerling veroorsaak nie krassies nie. Hulle doen opleiding, 'n bietjie swakker as wat hulle moet, en niemand merk dit op nie. 'n gradient check vind hulle in sekondes.
A kollega het die studio se gradient code herskryf om dit vinniger te maak: suspect_grads. Jy kry nie om dit te lees nie, soos dikwels in regte werk ('n library, 'n spanmaat se branch, gegenereerde kode). Getoë met dit, leer jou baseline steeds: op die kursus se standaardplan is die taalscore net ongeveer 0.05 swakker, en op beelde, met seed 0, skoor dit selfs hoër. Albei is binne wat 'n onversigtige leser geraas noem. Iets in dit is fout.
Gaan dit na soos Module 3 geleer het: skuif een gewig met 'n klein hoeveelheid, meet die verandering in die loss, en vergelyk dit met die helling wat die kode beweer. Doen dit vir 5 inskrywings van elk van W1, b1, W2 en b2 op 'n klein model (breedte 8, 'n batch van 16), gekies uit die inskrywings waarvan die beweerde helling nie nul is nie (met one-hot inputs is die meeste van W1 se hellings presies 0, en 'n kontrole daar bewys niks nie). Meet die loss in float64 met studio.loss64 en 'n skuif van 1e-4; noem 'n relatiewe fout bo 0.01 verkeerd.
Woorde en simbole in hierdie les
- baseline
- die eenvoudige hardloop waar teen elke verandering gemeet word, oor dieselfde seeds
- gradering kontrole
- vergelyk die helling wat jou kode bereken met die helling wat gemeet word deur 'n gewig te skuif
Skryf check(grad_fn) wat vir el লিখে 'W1', 'b1', 'W2', 'b2', die grootste relatiewe fout oor 5 inskrywings teruggee. Stel wrong in op die gesorteerde name waarvan die fout bo 0.01 is, en cause op een sin: wat in die backward pass sit waar die verkeerde gradients is, en wat is waarskynlik daar weggela. Skryf dan fixed_grads self (die forward pass is m.forward; die loss en sy helling is studio.loss_and_dout). Train dan jou baseline (seed 0) met elk en druk beide punte uit.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.