Temario Lección 48 de 246 · Módulo 3: De la neurona al MLP
Módulo 3: De la neurona al MLP

Retropropagación de una red de dos capas, a mano

Por qué importa Esta lección es toda la retropropagación de una red real. Después de ella, nada en una biblioteca de aprendizaje profundo es magia.

Míralo primero

Reproduce la animación. El error empieza en la salida como (softmax menos one-hot). Fluye hacia atrás por la segunda capa, se bloquea allí donde una ReLU estaba apagada, fluye por la primera capa, y deja un gradiente en cada peso.

La pasada hacia delante

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

La pasada hacia atrás, encajando formas

El truco que lo hace fácil: cada gradiente tiene la misma forma que aquello a lo que pertenece. Si conoces las formas, casi siempre hay una sola manera de multiplicar las piezas que encaja. Los dos primeros pasos, resueltos:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

El resto es tuyo. Saca cada uno a partir de la forma que debe tener:

  • db2: forma (classes,). Cada sesgo se sumó a todas las filas.
  • dH: forma (n, hidden), la misma que H. Sale de dZ y W2.
  • dH_pre: forma (n, hidden). ReLU dejó pasar su entrada donde estaba encendida y la bloqueó en el resto.
  • dW1 y db1: los mismos dos pasos que para W2 y b2, una capa más abajo.

Resumen Hacia atrás es hacia delante al revés, multiplicando por la pendiente local de cada paso, con las formas como guía.

Palabras y símbolos de esta lección
pesos (w, W), sesgo (b)
los números que aprende una neurona; el sesgo desplaza su salida
ReLU
max(0, z): conserva los positivos, pone a cero los negativos
one-hot
ceros con un solo 1 en la clase verdadera
retropropagación
la regla de la cadena aplicada hacia atrás para obtener el gradiente de cada peso
Tu turno

Escribe forward_backward(X, y, W1, b1, W2, b2) que devuelva (loss, grads), donde grads es un diccionario con las claves W1, b1, W2, b2. La prueba oculta comprueba cada gradiente contra un empujón.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.