Backprop für ein zweischichtiges Netz, von Hand
Warum das wichtig ist Diese Lektion ist das gesamte Backpropagation für ein echtes Netzwerk. Danach ist nichts in einer Deep Learning Library Magie.
Sieh es dir zuerst an
Spiele die Animation ab. Der Fehler beginnt am Output als (softmax minus one-hot). Er fließt zurück durch die zweite layer, wird überall blockiert, wo ein ReLU aus war, fließt durch die erste layer und hinterlässt einen gradient auf jedem weight.
Der Forward Pass
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
Der Backward Pass durch Abgleichen der Shapes
Der Trick, der das einfach macht: jeder Gradient hat die gleiche Form wie das Objekt, zu dem er gehört. Wenn du die Formen kennst, gibt es normalerweise nur einen Weg, die Teile so zu multiplizieren, dass es passt. Die ersten zwei Schritte, erledigt:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Der Rest gehört dir. Berechne jeden aus den Formen, die er haben muss:
db2: shape (classes,). Jeder bias wurde zu jeder Zeile hinzugefügt.dH: shape (n, hidden), genau wie H. Es kommt von dZ und W2.dH_pre: shape (n, hidden). ReLU hat seinen Input durchgelassen, wo er an war, und ihn woanders blockiert.dW1unddb1: dieselben zwei Schritte wie für W2 und b2, eine Ebene tiefer.
Zusammenfassung Rückwärts ist vorwärts in umgekehrter Reihenfolge, multipliziert mit der lokalen Steigung jedes Schritts, mit Formen als deine Führung.
Wörter und Symbole in dieser Lektion
- gewichte (w, W), bias (b)
- die Zahlen, die ein Neuron lernt; der bias verschiebt seine Ausgabe
- ReLU
- max(0, z): behält positive Werte, macht negative zu Null
- one-hot
- nullen mit einer einzelnen 1 bei der wahren Klasse
- backpropagation
- die Kettenregel rückwärts ausführen um den Gradienten jedes Gewichts zu erhalten
Schreibe forward_backward(X, y, W1, b1, W2, b2), das (loss, grads) zurückgibt, wobei grads ein Dictionary mit den Schlüsseln W1, b1, W2, b2 ist. Der versteckte Test prüft jeden Gradienten gegen einen Nudge.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.