Свёртка назад
Почему это важно Чтобы выучить свои фильтры, CNN нужен градиент потерь по каждому весу фильтра. Оказывается, это тоже свёртка.
Маленькие числа, сначала в 1D
Вход x = [1, 2, 3, 4], фильтр w = [10, 20], valid-выход y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Вес w[0] касался x[0], x[1], x[2] (по разу на выход), поэтому его градиент - g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: вход, проскользивший по пришедшему градиенту g. Вход x[1] использовался в y[0] (с w[1]) и y[1] (с w[0]), поэтому его градиент собирает g[0]*w[1] + g[1]*w[0].
Правила
- Градиент фильтра: проскользите входом по пришедшему градиенту (valid-корреляция x с g).
- Градиент входа: дополните g нулями и проскользите по нему фильтром, отражённым (полная свёртка).
Та же идея в 2D. Conv2d открывается в библиотеке курса после этого урока.
Слова и символы этого урока
- свёртка
- скольжение маленькой сетки весов (фильтра) по изображению, одно скалярное произведение на позицию
- фильтр, карта признаков
- маленькая обучаемая сетка весов; и изображение её откликов
Напишите conv1d(x, w) (valid) и conv1d_backward(x, w, g), возвращающую (dx, dw). Затем conv2d_backward(img, k, g), возвращающую (dimg, dk) для двумерной valid-свёртки. Скрытый тест сверяет каждый градиент с подталкиванием.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.