Программа курса Урок 115 из 246 · Модуль 10: Сети, которые видят (CNN)
Модуль 10: Сети, которые видят (CNN)

Свёртка назад

Почему это важно Чтобы выучить свои фильтры, CNN нужен градиент потерь по каждому весу фильтра. Оказывается, это тоже свёртка.

Маленькие числа, сначала в 1D

Вход x = [1, 2, 3, 4], фильтр w = [10, 20], valid-выход y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Вес w[0] касался x[0], x[1], x[2] (по разу на выход), поэтому его градиент - g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: вход, проскользивший по пришедшему градиенту g. Вход x[1] использовался в y[0] (с w[1]) и y[1] (с w[0]), поэтому его градиент собирает g[0]*w[1] + g[1]*w[0].

Правила

  • Градиент фильтра: проскользите входом по пришедшему градиенту (valid-корреляция x с g).
  • Градиент входа: дополните g нулями и проскользите по нему фильтром, отражённым (полная свёртка).

Та же идея в 2D. Conv2d открывается в библиотеке курса после этого урока.

Слова и символы этого урока
свёртка
скольжение маленькой сетки весов (фильтра) по изображению, одно скалярное произведение на позицию
фильтр, карта признаков
маленькая обучаемая сетка весов; и изображение её откликов
Твоя очередь

Напишите conv1d(x, w) (valid) и conv1d_backward(x, w, g), возвращающую (dx, dw). Затем conv2d_backward(img, k, g), возвращающую (dimg, dk) для двумерной valid-свёртки. Скрытый тест сверяет каждый градиент с подталкиванием.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.