Kurrikulum Leson 46 van 246 · Module 3: Neuron na MLP
Module 3: Neuron na MLP

'n Gradiëntkontroleerder wat jy die hele kursus sal gebruik.

Waarom dit saak maak 'n Verkeerde gradient veroorsaak nie 'n crash nie. Opvoeding gaan net stilweg sleg. 'n Gradient checker vang die fout in sekondes op, en jy sal hierdie een in elke module gebruik.

Die idee is Module 2 se nudge, gedoen vir elke gewig: skuif gewig i op en af met h, meet die verlies beide kere, en deel die verskil deur 2h. Vergelyk dit met jou formule se gradient.

Hoe naby is naby?

Gebruik die relatiewe fout: |a - b| gedeel deur die groter van |a| en |b| (of 1e-8 as albei baie klein is). Onder 1e-6 is 'n sukses; bo 1e-3 beteken dit amper altyd 'n bug.

Gradient check: vergelyk 'n analitiese gradient (van jou formule) met 'n numeriese een (van nudging).

Opsomming Stadig maar betroubare arbiter. Gebruik dit voordat jy enige nuwe gradiënt vertrou.

Woorde en simbole in hierdie les
leerkoers (lr)
hoe groot elke opleidingsstap is
gradient check
vergelyk jou gradiëntformule met 'n stoot-en-meet-skatting
Jou beurt

Skryf numeric_grad(f, w, h=1e-5) (w is 'n NumPy array van enige vorm; gee 'n array van dieselfde vorm terug) en grad_check(f, grad, w) wat die grootste relatiewe fout teruggee. Hier neem f(w) die gewig-array en gee die verlies terug as een getal, en grad is 'n array (jou formule se gradiënt by w, reeds bereken), nie 'n funksie nie. Moenie w permanent verander nie. Om elke posisie van 'n array van enige vorm te besoek, gee for idx in np.ndindex(w.shape): elke indeks-tuple beurtelings. Die verborge toets voer drie subtiel foutiewe gradiënte aan jou kontroleerder; elkeen moet bo 1e-3 tel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.