Kurrikulum Leson 239 van 246 · Module 23: Capstone-studio: 'n model kaart wat jy kan hardloop
Module 23: Capstone-studio: 'n model kaart wat jy kan hardloop

Vind en herstel die geplant word bug

Hoekom dit saak maak Die ergste foute in masjienleerling veroorsaak nie krassies nie. Hulle doen opleiding, 'n bietjie swakker as wat hulle moet, en niemand merk dit op nie. 'n gradient check vind hulle in sekondes.

A kollega het die studio se gradient code herskryf om dit vinniger te maak: suspect_grads. Jy kry nie om dit te lees nie, soos dikwels in regte werk ('n library, 'n spanmaat se branch, gegenereerde kode). Getoë met dit, leer jou baseline steeds: op die kursus se standaardplan is die taalscore net ongeveer 0.05 swakker, en op beelde, met seed 0, skoor dit selfs hoër. Albei is binne wat 'n onversigtige leser geraas noem. Iets in dit is fout.

Gaan dit na soos Module 3 geleer het: skuif een gewig met 'n klein hoeveelheid, meet die verandering in die loss, en vergelyk dit met die helling wat die kode beweer. Doen dit vir 5 inskrywings van elk van W1, b1, W2 en b2 op 'n klein model (breedte 8, 'n batch van 16), gekies uit die inskrywings waarvan die beweerde helling nie nul is nie (met one-hot inputs is die meeste van W1 se hellings presies 0, en 'n kontrole daar bewys niks nie). Meet die loss in float64 met studio.loss64 en 'n skuif van 1e-4; noem 'n relatiewe fout bo 0.01 verkeerd.

Woorde en simbole in hierdie les
baseline
die eenvoudige hardloop waar teen elke verandering gemeet word, oor dieselfde seeds
gradering kontrole
vergelyk die helling wat jou kode bereken met die helling wat gemeet word deur 'n gewig te skuif
Jou beurt

Skryf check(grad_fn) wat vir el লিখে 'W1', 'b1', 'W2', 'b2', die grootste relatiewe fout oor 5 inskrywings teruggee. Stel wrong in op die gesorteerde name waarvan die fout bo 0.01 is, en cause op een sin: wat in die backward pass sit waar die verkeerde gradients is, en wat is waarskynlik daar weggela. Skryf dan fixed_grads self (die forward pass is m.forward; die loss en sy helling is studio.loss_and_dout). Train dan jou baseline (seed 0) met elk en druk beide punte uit.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.