Lehrplan Lektion 46 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Einen Gradienten-Checker wirst du im gesamten Kurs benutzen.

Warum das wichtig ist Ein falscher Gradient führt nicht zum Absturz. Das Training läuft einfach leise schlecht ab. Ein Gradient Checker fängt den Fehler in Sekunden ab, und du wirst diesen in jedem Modul verwenden.

Die Idee ist der Nudge aus Modul 2, durchgeführt für jedes Gewicht: nudge das Gewicht i um h nach oben und unten, miss den loss beide Male und teile die Differenz durch 2h. Vergleiche das mit dem gradient deiner Formel.

Wie nah ist nah?

Verwende den relativen Fehler: |a - b| geteilt durch den größeren von |a| und |b| (oder 1e-8 wenn beide winzig sind). Unter 1e-6 ist bestanden; über 1e-3 bedeutet fast immer ein Bug.

Gradient check: Vergleich eines analytischen Gradienten (aus deiner Formel) mit einem numerischen (durch Nudging).

Zusammenfassung Langsamer aber vertrauenswürdiger Schiedsrichter. Nutze ihn, bevor du einem neuen Gradienten vertraust.

Wörter und Symbole in dieser Lektion
Lernrate (lr)
wie groß jeder Trainingsschritt ist
gradient check
Vergleiche deine Gradientenformel mit einer Nudge-and-Measure-Schätzung
Du bist dran

Schreibe numeric_grad(f, w, h=1e-5) (w ist ein NumPy-Array beliebiger Form; gib ein Array der gleichen Form zurück) und grad_check(f, grad, w) und gib den größten relativen Fehler zurück. Hier nimmt f(w) das Gewicht-Array und gibt den Verlust als eine Zahl zurück, und grad ist ein Array (der Gradient deiner Formel bei w, bereits berechnet), keine Funktion. Ändere w nicht dauerhaft. Um jede Position eines Arrays beliebiger Form zu besuchen, gibt for idx in np.ndindex(w.shape): nacheinander jedes Index-Tupel aus. Der versteckte Test füttert deinen Checker mit drei dezent falschen Gradienten; jeder muss über 1e-3 liegen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.