Temario Lección 61 de 246 · Módulo 4: Tu propio motor de autograd
Módulo 4: Tu propio motor de autograd

Capas que guardan sus propios pesos

Por qué importa Las redes reales tienen muchas capas. Cada capa debería ser dueña de sus pesos y poder listarlos, para que el código de entrenamiento nunca tenga que saber qué hay dentro.

Una capa Linear guarda W y b como Tensor y calcula x @ W + b. Un MLP guarda una lista de capas Linear con ReLU entre ellas. Las dos ofrecen parameters(), una lista de sus Tensor de pesos.

Por qué poner a cero los gradientes

Tu backward suma a cada grad. Eso está bien dentro de una pasada, pero entre pasos el gradiente viejo sigue ahí. Olvídate de borrarlo y cada paso usa la suma de todos los gradientes anteriores: el entrenamiento se desvía y luego explota. Así que cada paso es: poner a cero los grads, hacia delante, hacia atrás, paso.

Parámetro: un peso que el entrenamiento cambia. zero_grad: poner a cero el grad de cada parámetro antes del siguiente backward.

Empieza los pesos con dispersión sqrt(2 / entradas), que mantiene las señales de un tamaño sensato a través de las capas ReLU. El Módulo 6 explica por qué.

Palabras y símbolos de esta lección
Tensor
aquí: un array más su gradiente más los Tensor de los que salió
unbroadcast
sumar un gradiente hasta devolverlo a la forma desde la que se estiró
zero_grad
poner a cero los gradientes antes del siguiente paso, porque backward les va sumando
Tu turno

Escribe Linear, MLP, zero_grad(params) y sgd_step(params, lr) como se describe. MLP([64, 32, 10], rng) crea dos capas Linear con una ReLU entre ellas y ninguna después de la última.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.