シラバス レッスン 246 中 81 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

3 つの数のバッチでの BatchNorm の逆向き(任意)

なぜ大切か これは第 1 部で最も難しい逆向きの規則で、任意です。その教訓:どの出力も(平均と散らばりを通して)すべての入力によるとき、勾配は余分な項を拾います。

まず 3 つのバッチで、ひとつの特徴について解いてください。x_hat = (x - mean) / spread、y = gamma x_hat + beta のとき、x についての勾配は、ただ gamma / spread 掛ける届く勾配ではありません。ひとつの x を動かすと平均と散らばりが動き、ほかのどの出力も動きます。特徴ごとの結果は、g を届く勾配、N をバッチの大きさとして:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

こう読んでください:素朴な勾配、引く、すべてを一緒にずらしただけの部分(平均の項)、引く、すべてを一緒に伸ばしただけの部分(散らばりの項)。その 2 つの部分は、正規化そのものによって打ち消されます。

詰まったら、ヒントから解いた解答が開きます。このレッスンを飛ばしても、何もふさがれません。

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
BatchNorm (gamma, beta)
それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
あなたの番

2 次元のバッチについて (dX, dgamma, dbeta) を返す batchnorm_backward(X, gamma, g, eps=1e-5) を書いてください。g は出力に届く勾配です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。