BatchNorm が数に何をするか
なぜ大切か BatchNorm は 2015 年に、とても深いネットワークを訓練できるようにしました。作る前に、それが数に何をするかを見ましょう。
見てみる
アニメーションを再生してください。層の出力は、特徴ごとに自分の平均と散らばりを持って届きます。巨大なもの、ごく小さなもの、ずれたもの。BatchNorm はそれぞれの特徴を、今のバッチの上で、その平均を引き、その散らばりで割ります。どの特徴も今や平均 0、散らばり 1 です。それから学習した gamma を掛け、学習した beta を足すので、役に立つならネットワークは違う縮尺を選べます。
正直な注:BatchNorm が なぜ 役に立つかは、まだ議論されています。元の論文の説明(「内部共変量シフト」)は、もう受け入れられているものではありません。なめらかな損失の地形と、大きな学習率を許すことが、よりよく支持された理由です。それが数に何をするかに疑いはありません。
BatchNorm:今のバッチの統計を使ってそれぞれの特徴を正規化し、それから学習した gamma と beta で縮尺し直すことです。
このレッスンの言葉と記号
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
計算する前に予測する:ある特徴がバッチで値 [2, 4, 6, 8] を持ち、gamma は 3、beta は 1 です。my_output に BatchNorm が生む 4 つの数を設定してください(eps = 0 を使う)。それから 2 次元のバッチについて batchnorm_forward(X, gamma, beta, eps=1e-5) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。