Backprop vir 'n twee-laag net, met die hand
Waarom dit saak maak Hierdie les is die hele backpropagation vir 'n regte netwerk. Nadat dit klaar is, is niks in 'n deep learning library towerk nie.
Sien dit eerste
Speel die animasi af. Die fout begin by die output as (softmax minus one-hot). Dit vloei terug deur die tweede laag, word geblokkeer waar 'n ReLU af was, vloei deur die eerste laag, en los 'n gradient op elke gewig.
Die vorentoe pad
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
Die terugwaartse pas, deur vorms te pas
Die truuk wat dit maklik maak: elke gradient het dieselfde vorm as die ding waartoe dit behoort. As jy die vorms ken, is daar gewoonlik net een manier om die stukke te vermenigvuldig wat pas. Die eerste twee stappe, uitgevoer:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Die res is joune. Werk elk een uit vanaf die vorms wat dit moet hê:
db2: vorm (klasse,). Elke bias is by elke ry bygevoeg.dH: shape (n, hidden), dieselfde as H. Dit kom van dZ en W2.dH_pre: vorm (n, hidden). ReLU het sy input deurgelaat waar dit aan was en dit elders geblokkeer.dW1endb1: dieselfde twee stappe soos vir W2 en b2, een laag onder.
Opsomming Agterwerp is vorentoe in omgekeerde volgorde, deur met elke stap se plaaslike helling te vermenigvuldig, met vorms as jou gids.
Woorde en simbole in hierdie les
- gewigte (w, W), bias (b)
- die nommers wat 'n neuron leer; die bias skuif sy uitset
- ReLU
- max(0, z): hou positiewes, maak negatiewes nul
- one-hot
- nulles met 'n enkele 1 by die ware klas
- backpropagation
- die kettingreël hardloop agteruit om elke gewig se gradiënt te kry
Skryf forward_backward(X, y, W1, b1, W2, b2) wat (loss, grads) teruggee waar grads 'n dictionary met sleutels W1, b1, W2, b2 is. Die verborge toets kontroleer elke gradient teen 'n nudge.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.