Capas que guardan sus propios pesos
Por qué importa Las redes reales tienen muchas capas. Cada capa debería ser dueña de sus pesos y poder listarlos, para que el código de entrenamiento nunca tenga que saber qué hay dentro.
Una capa Linear guarda W y b como Tensor y calcula x @ W + b. Un MLP guarda una lista de capas Linear con ReLU entre ellas. Las dos ofrecen parameters(), una lista de sus Tensor de pesos.
Por qué poner a cero los gradientes
Tu backward suma a cada grad. Eso está bien dentro de una pasada, pero entre pasos el gradiente viejo sigue ahí. Olvídate de borrarlo y cada paso usa la suma de todos los gradientes anteriores: el entrenamiento se desvía y luego explota. Así que cada paso es: poner a cero los grads, hacia delante, hacia atrás, paso.
Parámetro: un peso que el entrenamiento cambia. zero_grad: poner a cero el grad de cada parámetro antes del siguiente backward.
Empieza los pesos con dispersión sqrt(2 / entradas), que mantiene las señales de un tamaño sensato a través de las capas ReLU. El Módulo 6 explica por qué.
Palabras y símbolos de esta lección
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
- zero_grad
- poner a cero los gradientes antes del siguiente paso, porque backward les va sumando
Escribe Linear, MLP, zero_grad(params) y sgd_step(params, lr) como se describe. MLP([64, 32, 10], rng) crea dos capas Linear con una ReLU entre ellas y ninguna después de la última.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.