Программа курса Урок 61 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Слои, которые хранят свои веса

Почему это важно У настоящих сетей много слоёв. Каждый слой должен владеть своими весами и уметь их перечислить, чтобы коду обучения никогда не нужно было знать, что внутри.

Слой Linear хранит W и b как Tensor и вычисляет x @ W + b. MLP хранит список слоёв Linear с ReLU между ними. Оба предлагают parameters(), список своих Tensor весов.

Зачем обнулять градиенты

Ваш backward прибавляет к каждому grad. Внутри одного прохода это верно, но между шагами старый градиент всё ещё лежит там. Забудьте его очистить, и каждый шаг использует сумму всех прошлых градиентов: обучение дрейфует, а потом взрывается. Поэтому каждый шаг такой: обнулить grad, прямой проход, обратный, шаг.

Параметр: вес, который меняет обучение. zero_grad: сброс grad каждого параметра в ноль перед следующим backward.

Начинайте веса с разбросом sqrt(2 / inputs), который держит сигналы разумного размера через слои ReLU. Модуль 6 объясняет почему.

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
zero_grad
сброс градиентов перед следующим шагом, потому что backward к ним прибавляет
Твоя очередь

Напишите Linear, MLP, zero_grad(params) и sgd_step(params, lr), как описано. MLP([64, 32, 10], rng) создаёт два слоя Linear с ReLU между ними и без неё после последнего.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.