'n Gradiëntkontroleerder wat jy die hele kursus sal gebruik.
Waarom dit saak maak 'n Verkeerde gradient veroorsaak nie 'n crash nie. Opvoeding gaan net stilweg sleg. 'n Gradient checker vang die fout in sekondes op, en jy sal hierdie een in elke module gebruik.
Die idee is Module 2 se nudge, gedoen vir elke gewig: skuif gewig i op en af met h, meet die verlies beide kere, en deel die verskil deur 2h. Vergelyk dit met jou formule se gradient.
Hoe naby is naby?
Gebruik die relatiewe fout: |a - b| gedeel deur die groter van |a| en |b| (of 1e-8 as albei baie klein is). Onder 1e-6 is 'n sukses; bo 1e-3 beteken dit amper altyd 'n bug.
Gradient check: vergelyk 'n analitiese gradient (van jou formule) met 'n numeriese een (van nudging).
Opsomming Stadig maar betroubare arbiter. Gebruik dit voordat jy enige nuwe gradiënt vertrou.
Woorde en simbole in hierdie les
- leerkoers (lr)
- hoe groot elke opleidingsstap is
- gradient check
- vergelyk jou gradiëntformule met 'n stoot-en-meet-skatting
Skryf numeric_grad(f, w, h=1e-5) (w is 'n NumPy array van enige vorm; gee 'n array van dieselfde vorm terug) en grad_check(f, grad, w) wat die grootste relatiewe fout teruggee. Hier neem f(w) die gewig-array en gee die verlies terug as een getal, en grad is 'n array (jou formule se gradiënt by w, reeds bereken), nie 'n funksie nie. Moenie w permanent verander nie. Om elke posisie van 'n array van enige vorm te besoek, gee for idx in np.ndindex(w.shape): elke indeks-tuple beurtelings. Die verborge toets voer drie subtiel foutiewe gradiënte aan jou kontroleerder; elkeen moet bo 1e-3 tel.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.