Программа курса Урок 103 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Смотрите: Backprop и Chain Rule

Градиентный спуск требует одной вещи: градиента функции потерь по каждому входному значению и весу. Backpropagation это способ его получить, и это просто chain rule примененный к графу операций.

Нажмите play. Пропустите значение через крошечный граф (x -> double -> square -> L), затем посмотрите, как градиент течет backward, умножаясь на локальный градиент каждого шага. Как только вы это увидите, движок autograd, который вы построите дальше, перестанет быть магией.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.