BatchNorm の前向きと移動平均
なぜ大切か 訓練のとき、BatchNorm はバッチ自身の統計を使います。モデルを一度にひとつの例で使うときにはバッチがないので、訓練からの典型的な統計を覚えていなければなりません。
訓練の間、それぞれの特徴の平均と分散の 移動平均 を持ちます:running = (1 - momentum) * running + momentum * batch_value、momentum は 0.1。評価のモードでは、バッチのものの代わりに、その移動の値で正規化します。
訓練のモード:バッチの統計を使い、移動平均を更新します。評価のモード:保存した移動平均を使い、何も変えません。
このレッスンの言葉と記号
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
gamma(1)、beta(ゼロ)、running_mean(ゼロ)、running_var(1)、training のフラグ(True で始まる)、説明どおりにふるまう __call__(X) を持つクラス BatchNorm(n, momentum=0.1, eps=1e-5) を書いてください。running_var には、np.var が計算するとおりのバッチの分散(n で割る)がコースの選択です。PyTorch は不偏のもの(n - 1 で割る)を持ち、どちらも受け入れられます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。