畳み込みの逆向き
なぜ大切か フィルターを学ぶには、CNN はすべてのフィルターの重みについての損失の勾配を必要とします。それは別の畳み込みだとわかります。
小さな数、まず 1 次元で
入力 x = [1, 2, 3, 4]、フィルター w = [10, 20]、valid の出力 y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]。重み w[0] は(出力ごとに一度)x[0]、x[1]、x[2] に触れたので、その勾配は g[0]*x[0] + g[1]*x[1] + g[2]*x[2]:届く勾配 g に対して入力を滑らせたものです。入力 x[1] は y[0](w[1] と)と y[1](w[0] と)に使われたので、その勾配は g[0]*w[1] + g[1]*w[0] を集めます。
規則
- フィルターの勾配:届く勾配に対して入力を滑らせる(x と g の valid の相関)。
- 入力の勾配:g を埋め、その上でフィルターを反転して滑らせる(full の畳み込み)。
2 次元でも同じ考えです。このレッスンのあと、コースのライブラリで Conv2d が開きます。
このレッスンの言葉と記号
- 畳み込み
- 重みの小さな格子(フィルター)を画像の上で滑らせ、位置ごとにひとつの内積を取ること
- フィルター、特徴マップ
- 学習した重みの小さな格子。そしてその反応の画像
conv1d(x, w)(valid)と、(dx, dw) を返す conv1d_backward(x, w, g) を書いてください。それから 2 次元の valid の畳み込みについて (dimg, dk) を返す conv2d_backward(img, k, g) を。隠れたテストは、どの勾配も少しの動きと照らし合わせます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。