Conteúdo do curso Lição 48 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Backprop para uma rede de duas camadas, feito à mão

Por que isso importa Esta lição é o backpropagation completo para uma rede real. Depois dela, nada em uma biblioteca de deep learning é mágica.

Veja primeiro

Reproduza a animação. O erro começa na saída como (softmax menos one-hot). Ele flui de volta pela segunda camada, é bloqueado onde quer que uma ReLU estivesse desligada, flui pela primeira camada e deixa um gradiente em cada peso.

O passo forward

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

O passo de volta, combinando formas

O truque que torna isso fácil: cada gradient tem o mesmo shape da coisa a que pertence. Se você conhece os shapes, geralmente só existe um jeito de multiplicar as peças que se encaixa. Os dois primeiros steps, funcionaram:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

O resto é seu. Resolva cada um a partir das formas que eles devem ter:

  • db2: shape (classes,). Cada bias foi adicionado a cada linha.
  • dH: shape (n, hidden), o mesmo que H. Ele vem de dZ e W2.
  • dH_pre: shape (n, hidden). ReLU passou seu input por onde ele estava ligado e o bloqueou em outros lugares.
  • dW1 e db1: os mesmos dois passos que para W2 e b2, uma camada abaixo.

Resumo O de trás para frente é para frente ao contrário, multiplicando pela inclinação local de cada passo, com as formas como seu guia.

Palavras e símbolos nesta lição
pesos (w, W), viés (b)
os números que um neurônio aprende; o bias desloca sua saída
ReLU
max(0, z): mantém positivos, zera negativos
one-hot
zeros com um único 1 na classe verdadeira
backpropagation
a regra da cadeia executada de trás para frente para obter o gradiente de cada peso
Sua vez

Escreva forward_backward(X, y, W1, b1, W2, b2) que retorna (loss, grads) onde grads é um dicionário com chaves W1, b1, W2, b2. O teste oculto verifica cada gradiente contra um empurrão.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.