Backprop para uma rede de duas camadas, feito à mão
Por que isso importa Esta lição é o backpropagation completo para uma rede real. Depois dela, nada em uma biblioteca de deep learning é mágica.
Veja primeiro
Reproduza a animação. O erro começa na saída como (softmax menos one-hot). Ele flui de volta pela segunda camada, é bloqueado onde quer que uma ReLU estivesse desligada, flui pela primeira camada e deixa um gradiente em cada peso.
O passo forward
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
O passo de volta, combinando formas
O truque que torna isso fácil: cada gradient tem o mesmo shape da coisa a que pertence. Se você conhece os shapes, geralmente só existe um jeito de multiplicar as peças que se encaixa. Os dois primeiros steps, funcionaram:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
O resto é seu. Resolva cada um a partir das formas que eles devem ter:
db2: shape (classes,). Cada bias foi adicionado a cada linha.dH: shape (n, hidden), o mesmo que H. Ele vem de dZ e W2.dH_pre: shape (n, hidden). ReLU passou seu input por onde ele estava ligado e o bloqueou em outros lugares.dW1edb1: os mesmos dois passos que para W2 e b2, uma camada abaixo.
Resumo O de trás para frente é para frente ao contrário, multiplicando pela inclinação local de cada passo, com as formas como seu guia.
Palavras e símbolos nesta lição
- pesos (w, W), viés (b)
- os números que um neurônio aprende; o bias desloca sua saída
- ReLU
- max(0, z): mantém positivos, zera negativos
- one-hot
- zeros com um único 1 na classe verdadeira
- backpropagation
- a regra da cadeia executada de trás para frente para obter o gradiente de cada peso
Escreva forward_backward(X, y, W1, b1, W2, b2) que retorna (loss, grads) onde grads é um dicionário com chaves W1, b1, W2, b2. O teste oculto verifica cada gradiente contra um empurrão.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.