Kurrikulum Leson 48 van 246 · Module 3: Neuron na MLP
Module 3: Neuron na MLP

Backprop vir 'n twee-laag net, met die hand

Waarom dit saak maak Hierdie les is die hele backpropagation vir 'n regte netwerk. Nadat dit klaar is, is niks in 'n deep learning library towerk nie.

Sien dit eerste

Speel die animasi af. Die fout begin by die output as (softmax minus one-hot). Dit vloei terug deur die tweede laag, word geblokkeer waar 'n ReLU af was, vloei deur die eerste laag, en los 'n gradient op elke gewig.

Die vorentoe pad

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

Die terugwaartse pas, deur vorms te pas

Die truuk wat dit maklik maak: elke gradient het dieselfde vorm as die ding waartoe dit behoort. As jy die vorms ken, is daar gewoonlik net een manier om die stukke te vermenigvuldig wat pas. Die eerste twee stappe, uitgevoer:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Die res is joune. Werk elk een uit vanaf die vorms wat dit moet hê:

  • db2: vorm (klasse,). Elke bias is by elke ry bygevoeg.
  • dH: shape (n, hidden), dieselfde as H. Dit kom van dZ en W2.
  • dH_pre: vorm (n, hidden). ReLU het sy input deurgelaat waar dit aan was en dit elders geblokkeer.
  • dW1 en db1: dieselfde twee stappe soos vir W2 en b2, een laag onder.

Opsomming Agterwerp is vorentoe in omgekeerde volgorde, deur met elke stap se plaaslike helling te vermenigvuldig, met vorms as jou gids.

Woorde en simbole in hierdie les
gewigte (w, W), bias (b)
die nommers wat 'n neuron leer; die bias skuif sy uitset
ReLU
max(0, z): hou positiewes, maak negatiewes nul
one-hot
nulles met 'n enkele 1 by die ware klas
backpropagation
die kettingreël hardloop agteruit om elke gewig se gradiënt te kry
Jou beurt

Skryf forward_backward(X, y, W1, b1, W2, b2) wat (loss, grads) teruggee waar grads 'n dictionary met sleutels W1, b1, W2, b2 is. Die verborge toets kontroleer elke gradient teen 'n nudge.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.