Backprop per una rete a due layer, a mano
Perché è importante Questa lezione è tutta la backpropagation per una rete vera. Dopo, niente in una libreria di deep learning è magia.
Prima guardalo
Avvia l'animazione. L'errore parte all'output come (softmax meno one-hot). Scorre indietro attraverso il secondo layer, viene bloccato ovunque una ReLU era spenta, attraversa il primo layer, e lascia un gradiente su ogni peso.
La passata in avanti
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
La passata all'indietro, facendo combaciare le forme
Il trucco che la rende facile: ogni gradiente ha la stessa forma della cosa a cui appartiene. Se conosci le forme, di solito c'è un solo modo di moltiplicare i pezzi che combacia. I primi due passi, svolti:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Il resto tocca a te. Ricava ciascuno dalle forme che deve avere:
db2: forma (classi,). Ogni bias è stato aggiunto a ogni riga.dH: forma (n, hidden), uguale a H. Viene da dZ e W2.dH_pre: forma (n, hidden). ReLU ha fatto passare il suo input dove era accesa e l'ha bloccato altrove.dW1edb1: gli stessi due passi di W2 e b2, un layer più in basso.
Riepilogo L'indietro è l'avanti al contrario, moltiplicando per la pendenza locale di ogni passo, con le forme come guida.
Parole e simboli di questa lezione
- pesi (w, W), bias (b)
- i numeri che un neurone impara; il bias sposta il suo output
- ReLU
- max(0, z): tiene i positivi, azzera i negativi
- one-hot
- zeri con un solo 1 nella classe vera
- backpropagation
- la regola della catena eseguita all'indietro per ottenere il gradiente di ogni peso
Scrivi forward_backward(X, y, W1, b1, W2, b2) che restituisce (loss, grads) dove grads è un dizionario con le chiavi W1, b1, W2, b2. Il test nascosto controlla ogni gradiente con uno spostamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.