Программа курса Урок 28 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Почему обратный проход дешёв (обратный режим)

Почему это важно У сети миллионы весов. Если бы каждому градиенту нужен был свой проход, обучение было бы невозможным. Движение назад получает их все примерно по цене ещё одного прохода.

Маленькие числа

Возьмите L = f3(f2(f1(x))), где у x 3 числа, а L - одно число. Двигаясь вперёд подталкиваниями, вы подталкиваете один вход, проталкиваете его через все три шага и узнаёте один градиент. Три входа - три полных пути.

Двигаясь назад, вы начинаете с L, одного числа, и проталкиваете "насколько L это волнует?" назад через f3, затем f2, затем f1. Один путь даёт градиент для каждого входа сразу.

При 3 входах вы делаете 1 путь вместо 3. При миллионе весов - 1 путь вместо миллиона. Обратный путь, правда, не бесплатен: он стоит примерно 2-3 прямых прохода, потому что каждый шаг должен умножать на свои локальные наклоны. Поэтому на практике экономия около n / 3, что для миллиона весов всё равно около 300 000 раз. Поэтому каждая библиотека глубокого обучения работает назад.

Обратный режим: вычисление градиентов проходом от выхода назад к входам. Его строительный блок называется произведением вектора на якобиан; следующий урок разбирает его.

Итоги Один выход, много входов: идите назад.

Слова и символы этого урока
вектор
список чисел, по одному на признак
Твоя очередь

Заполните счёты операций для сети с n весами и одними потерями. forward_trips(n): сколько полных проходов нужно методу подталкивания каждого входа (один подталкиваемый проход на вес; не учитывайте единственный проход без подталкивания, который вы бы тоже выполнили). backward_trips(n): сколько обратных проходов нужно обратному режиму. Затем присвойте saving_for_a_million отношение путей (а не работы) для n = 1 000 000.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.