Программа курса Урок 51 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Затравка: десять строк, которые обучают распознаватель цифр

Почему это важно В модуле 3 вы писали каждый градиент вручную. У настоящих сетей десятки видов слоёв; никто не выводит их вручную каждый раз. Движок autograd делает это за вас, и к концу этого модуля вы напишете такой.

Первые строки импортируют готовый движок, который вы вот-вот построите (он скрыт от глаз, чтобы следующие уроки оставались вашими задачами). Посмотрите на десять строк после данных: они строят сеть и обучают её на цифрах, и нигде не упоминают формулу градиента. loss.backward() вычисляет их все.

Сначала угадайте кривую: угадайте средние потери на обучении после эпохи 1 и после эпохи 10.

Autograd: автоматическое дифференцирование. Вы пишете только прямое вычисление; движок записывает его и вычисляет каждый градиент, выполняя цепное правило назад.

Слова и символы этого урока
autograd
автоматические градиенты: вы пишете прямой проход, движок делает обратный
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
zero_grad
сброс градиентов перед следующим шагом, потому что backward к ним прибавляет
Твоя очередь

Заполните my_guess, затем запустите. Прочитайте десять строк обучения и заметьте, чего не хватает.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.