Слои, которые хранят свои веса
Почему это важно У настоящих сетей много слоёв. Каждый слой должен владеть своими весами и уметь их перечислить, чтобы коду обучения никогда не нужно было знать, что внутри.
Слой Linear хранит W и b как Tensor и вычисляет x @ W + b. MLP хранит список слоёв Linear с ReLU между ними. Оба предлагают parameters(), список своих Tensor весов.
Зачем обнулять градиенты
Ваш backward прибавляет к каждому grad. Внутри одного прохода это верно, но между шагами старый градиент всё ещё лежит там. Забудьте его очистить, и каждый шаг использует сумму всех прошлых градиентов: обучение дрейфует, а потом взрывается. Поэтому каждый шаг такой: обнулить grad, прямой проход, обратный, шаг.
Параметр: вес, который меняет обучение. zero_grad: сброс grad каждого параметра в ноль перед следующим backward.
Начинайте веса с разбросом sqrt(2 / inputs), который держит сигналы разумного размера через слои ReLU. Модуль 6 объясняет почему.
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
- zero_grad
- сброс градиентов перед следующим шагом, потому что backward к ним прибавляет
Напишите Linear, MLP, zero_grad(params) и sgd_step(params, lr), как описано. MLP([64, 32, 10], rng) создаёт два слоя Linear с ReLU между ними и без неё после последнего.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.