Programma Les 48 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Backprop voor een netwerk met twee lagen, met de hand

Waarom dit ertoe doet Deze les is de volledige backpropagation voor een echt netwerk. Daarna is niets in een deep learning library magie.

Zie het eerst

Speel de animatie af. De fout begint bij de output als (softmax minus one-hot). Het stroomt terug door de tweede laag, wordt geblokkeerd waar een ReLU uit stond, stroomt door de eerste laag en laat een gradient achter op elke weight.

De forward pass

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

De backward pass, door vormen te matchen

De truc die dit makkelijk maakt: elke gradient heeft dezelfde vorm als het ding waartoe het behoort. Als je de vormen kent, is er meestal maar één manier om de stukken te vermenigvuldigen die past. De eerste twee stappen, uitgevoerd:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

De rest is van jou. Werk elk een uit aan de vormen die het moet hebben:

  • db2: shape (classes,). Elke bias werd aan elke rij toegevoegd.
  • dH: shape (n, hidden), hetzelfde als H. Het komt van dZ en W2.
  • dH_pre: shape (n, hidden). ReLU liet de input door waar deze aan stond en blokkeerde deze elders.
  • dW1 en db1: dezelfde twee stappen als voor W2 en b2, één laag lager.

Samenvatting Achterwaarts is voorwaarts in omgekeerde volgorde, vermenigvuldigd met de lokale helling van elke stap, met vormen als je gids.

Woorden en symbolen in deze les
weights (w, W), bias (b)
de getallen die een neuron leert; de bias verschuift zijn output
ReLU
max(0, z): houdt positieven vast, maakt negatieven nul
one-hot
nullen met een enkele 1 bij de ware klasse
backpropagation
de kettingregel achterwaarts uitvoeren om de gradiënt van elk gewicht te krijgen
Jij bent aan de beurt

Schrijf forward_backward(X, y, W1, b1, W2, b2) dat (loss, grads) retourneert waar grads een dictionary is met keys W1, b1, W2, b2. De verborgen test controleert elke gradient tegen een nudge.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.