Retropropagación de una red de dos capas, a mano
Por qué importa Esta lección es toda la retropropagación de una red real. Después de ella, nada en una biblioteca de aprendizaje profundo es magia.
Míralo primero
Reproduce la animación. El error empieza en la salida como (softmax menos one-hot). Fluye hacia atrás por la segunda capa, se bloquea allí donde una ReLU estaba apagada, fluye por la primera capa, y deja un gradiente en cada peso.
La pasada hacia delante
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
La pasada hacia atrás, encajando formas
El truco que lo hace fácil: cada gradiente tiene la misma forma que aquello a lo que pertenece. Si conoces las formas, casi siempre hay una sola manera de multiplicar las piezas que encaja. Los dos primeros pasos, resueltos:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
El resto es tuyo. Saca cada uno a partir de la forma que debe tener:
db2: forma (classes,). Cada sesgo se sumó a todas las filas.dH: forma (n, hidden), la misma que H. Sale de dZ y W2.dH_pre: forma (n, hidden). ReLU dejó pasar su entrada donde estaba encendida y la bloqueó en el resto.dW1ydb1: los mismos dos pasos que para W2 y b2, una capa más abajo.
Resumen Hacia atrás es hacia delante al revés, multiplicando por la pendiente local de cada paso, con las formas como guía.
Palabras y símbolos de esta lección
- pesos (w, W), sesgo (b)
- los números que aprende una neurona; el sesgo desplaza su salida
- ReLU
- max(0, z): conserva los positivos, pone a cero los negativos
- one-hot
- ceros con un solo 1 en la clase verdadera
- retropropagación
- la regla de la cadena aplicada hacia atrás para obtener el gradiente de cada peso
Escribe forward_backward(X, y, W1, b1, W2, b2) que devuelva (loss, grads), donde grads es un diccionario con las claves W1, b1, W2, b2. La prueba oculta comprueba cada gradiente contra un empujón.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.