Обратное распространение для двухслойной сети вручную
Почему это важно Этот урок - всё обратное распространение для настоящей сети. После него ничто в библиотеке глубокого обучения не волшебство.
Сначала посмотрите
Запустите анимацию. Ошибка начинается на выходе как (softmax минус one-hot). Она течёт назад через второй слой, блокируется везде, где ReLU была выключена, течёт через первый слой и оставляет градиент на каждом весе.
Прямой проход
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
Обратный проход через сопоставление форм
Трюк, который делает это лёгким: у каждого градиента та же форма, что у вещи, которой он принадлежит. Если вы знаете формы, обычно есть лишь один подходящий способ перемножить куски. Первые два шага, разобранные:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Остальное - ваше. Выведите каждый по формам, которые он должен иметь:
db2: форма (classes,). Каждое смещение прибавлялось к каждой строке.dH: форма (n, hidden), такая же, как у H. Он получается из dZ и W2.dH_pre: форма (n, hidden). ReLU пропускала свой вход там, где была включена, и блокировала в остальных местах.dW1иdb1: те же два шага, что для W2 и b2, на слой ниже.
Итоги Обратный проход - это прямой в обратном порядке, с умножением на локальный наклон каждого шага, а формы - ваш ориентир.
Слова и символы этого урока
- веса (w, W), смещение (b)
- числа, которые учит нейрон; смещение сдвигает его выход
- ReLU
- max(0, z): оставляет положительные, обнуляет отрицательные
- one-hot
- нули с единственной 1 у верного класса
- обратное распространение
- цепное правило, выполненное назад, чтобы получить градиент каждого веса
Напишите forward_backward(X, y, W1, b1, W2, b2), которая возвращает (loss, grads), где grads - словарь с ключами W1, b1, W2, b2. Скрытый тест сверяет каждый градиент с подталкиванием.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.