Программа курса Урок 48 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Обратное распространение для двухслойной сети вручную

Почему это важно Этот урок - всё обратное распространение для настоящей сети. После него ничто в библиотеке глубокого обучения не волшебство.

Сначала посмотрите

Запустите анимацию. Ошибка начинается на выходе как (softmax минус one-hot). Она течёт назад через второй слой, блокируется везде, где ReLU была выключена, течёт через первый слой и оставляет градиент на каждом весе.

Прямой проход

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

Обратный проход через сопоставление форм

Трюк, который делает это лёгким: у каждого градиента та же форма, что у вещи, которой он принадлежит. Если вы знаете формы, обычно есть лишь один подходящий способ перемножить куски. Первые два шага, разобранные:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Остальное - ваше. Выведите каждый по формам, которые он должен иметь:

  • db2: форма (classes,). Каждое смещение прибавлялось к каждой строке.
  • dH: форма (n, hidden), такая же, как у H. Он получается из dZ и W2.
  • dH_pre: форма (n, hidden). ReLU пропускала свой вход там, где была включена, и блокировала в остальных местах.
  • dW1 и db1: те же два шага, что для W2 и b2, на слой ниже.

Итоги Обратный проход - это прямой в обратном порядке, с умножением на локальный наклон каждого шага, а формы - ваш ориентир.

Слова и символы этого урока
веса (w, W), смещение (b)
числа, которые учит нейрон; смещение сдвигает его выход
ReLU
max(0, z): оставляет положительные, обнуляет отрицательные
one-hot
нули с единственной 1 у верного класса
обратное распространение
цепное правило, выполненное назад, чтобы получить градиент каждого веса
Твоя очередь

Напишите forward_backward(X, y, W1, b1, W2, b2), которая возвращает (loss, grads), где grads - словарь с ключами W1, b1, W2, b2. Скрытый тест сверяет каждый градиент с подталкиванием.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.