Lehrplan Lektion 48 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Backprop für ein zweischichtiges Netz, von Hand

Warum das wichtig ist Diese Lektion ist das gesamte Backpropagation für ein echtes Netzwerk. Danach ist nichts in einer Deep Learning Library Magie.

Sieh es dir zuerst an

Spiele die Animation ab. Der Fehler beginnt am Output als (softmax minus one-hot). Er fließt zurück durch die zweite layer, wird überall blockiert, wo ein ReLU aus war, fließt durch die erste layer und hinterlässt einen gradient auf jedem weight.

Der Forward Pass

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

Der Backward Pass durch Abgleichen der Shapes

Der Trick, der das einfach macht: jeder Gradient hat die gleiche Form wie das Objekt, zu dem er gehört. Wenn du die Formen kennst, gibt es normalerweise nur einen Weg, die Teile so zu multiplizieren, dass es passt. Die ersten zwei Schritte, erledigt:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Der Rest gehört dir. Berechne jeden aus den Formen, die er haben muss:

  • db2: shape (classes,). Jeder bias wurde zu jeder Zeile hinzugefügt.
  • dH: shape (n, hidden), genau wie H. Es kommt von dZ und W2.
  • dH_pre: shape (n, hidden). ReLU hat seinen Input durchgelassen, wo er an war, und ihn woanders blockiert.
  • dW1 und db1: dieselben zwei Schritte wie für W2 und b2, eine Ebene tiefer.

Zusammenfassung Rückwärts ist vorwärts in umgekehrter Reihenfolge, multipliziert mit der lokalen Steigung jedes Schritts, mit Formen als deine Führung.

Wörter und Symbole in dieser Lektion
gewichte (w, W), bias (b)
die Zahlen, die ein Neuron lernt; der bias verschiebt seine Ausgabe
ReLU
max(0, z): behält positive Werte, macht negative zu Null
one-hot
nullen mit einer einzelnen 1 bei der wahren Klasse
backpropagation
die Kettenregel rückwärts ausführen um den Gradienten jedes Gewichts zu erhalten
Du bist dran

Schreibe forward_backward(X, y, W1, b1, W2, b2), das (loss, grads) zurückgibt, wobei grads ein Dictionary mit den Schlüsseln W1, b1, W2, b2 ist. Der versteckte Test prüft jeden Gradienten gegen einen Nudge.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.