Почему обратный проход дешёв (обратный режим)
Почему это важно У сети миллионы весов. Если бы каждому градиенту нужен был свой проход, обучение было бы невозможным. Движение назад получает их все примерно по цене ещё одного прохода.
Маленькие числа
Возьмите L = f3(f2(f1(x))), где у x 3 числа, а L - одно число. Двигаясь вперёд подталкиваниями, вы подталкиваете один вход, проталкиваете его через все три шага и узнаёте один градиент. Три входа - три полных пути.
Двигаясь назад, вы начинаете с L, одного числа, и проталкиваете "насколько L это волнует?" назад через f3, затем f2, затем f1. Один путь даёт градиент для каждого входа сразу.
При 3 входах вы делаете 1 путь вместо 3. При миллионе весов - 1 путь вместо миллиона. Обратный путь, правда, не бесплатен: он стоит примерно 2-3 прямых прохода, потому что каждый шаг должен умножать на свои локальные наклоны. Поэтому на практике экономия около n / 3, что для миллиона весов всё равно около 300 000 раз. Поэтому каждая библиотека глубокого обучения работает назад.
Обратный режим: вычисление градиентов проходом от выхода назад к входам. Его строительный блок называется произведением вектора на якобиан; следующий урок разбирает его.
Итоги Один выход, много входов: идите назад.
Слова и символы этого урока
- вектор
- список чисел, по одному на признак
Заполните счёты операций для сети с n весами и одними потерями. forward_trips(n): сколько полных проходов нужно методу подталкивания каждого входа (один подталкиваемый проход на вес; не учитывайте единственный проход без подталкивания, который вы бы тоже выполнили). backward_trips(n): сколько обратных проходов нужно обратному режиму. Затем присвойте saving_for_a_million отношение путей (а не работы) для n = 1 000 000.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.