Backprop voor een netwerk met twee lagen, met de hand
Waarom dit ertoe doet Deze les is de volledige backpropagation voor een echt netwerk. Daarna is niets in een deep learning library magie.
Zie het eerst
Speel de animatie af. De fout begint bij de output als (softmax minus one-hot). Het stroomt terug door de tweede laag, wordt geblokkeerd waar een ReLU uit stond, stroomt door de eerste laag en laat een gradient achter op elke weight.
De forward pass
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
De backward pass, door vormen te matchen
De truc die dit makkelijk maakt: elke gradient heeft dezelfde vorm als het ding waartoe het behoort. Als je de vormen kent, is er meestal maar één manier om de stukken te vermenigvuldigen die past. De eerste twee stappen, uitgevoerd:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
De rest is van jou. Werk elk een uit aan de vormen die het moet hebben:
db2: shape (classes,). Elke bias werd aan elke rij toegevoegd.dH: shape (n, hidden), hetzelfde als H. Het komt van dZ en W2.dH_pre: shape (n, hidden). ReLU liet de input door waar deze aan stond en blokkeerde deze elders.dW1endb1: dezelfde twee stappen als voor W2 en b2, één laag lager.
Samenvatting Achterwaarts is voorwaarts in omgekeerde volgorde, vermenigvuldigd met de lokale helling van elke stap, met vormen als je gids.
Woorden en symbolen in deze les
- weights (w, W), bias (b)
- de getallen die een neuron leert; de bias verschuift zijn output
- ReLU
- max(0, z): houdt positieven vast, maakt negatieven nul
- one-hot
- nullen met een enkele 1 bij de ware klasse
- backpropagation
- de kettingregel achterwaarts uitvoeren om de gradiënt van elk gewicht te krijgen
Schrijf forward_backward(X, y, W1, b1, W2, b2) dat (loss, grads) retourneert waar grads een dictionary is met keys W1, b1, W2, b2. De verborgen test controleert elke gradient tegen een nudge.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.