シラバス レッスン 246 中 78 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

死んだ ReLU

なぜ大切か どの入力でもオフの ReLU は勾配をまったく通さないので、二度と学びません。層全体が静かに死ぬことがあります。

ユニットは、その出力がバッチのどの例でもゼロなら 死んで います。よくある原因:大きな負のバイアス、または重みを大きく負に押しやったひとつの巨大な更新。

小さな数

4 つの例と 3 つのユニットの活性化:[[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]。ユニット 1 はどこでもゼロ:死んでいます。ユニット 3 は一度発火しました:生きています。死んだ割合:3 つのうち 1 つ。

対策:妥当な始まりの重み、0(またはわずかに正)から始まるバイアス、小さな学習率、または負の入力に小さな傾き(例えば 0.01)を保ってユニットが立ち直れるようにする leaky ReLU。

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
あなたの番

活性化の行列(例 × ユニット)について dead_fraction(H) を書いてください。それから、-4 のバイアスで始めた下の層について、同じ重みを保ちつつ、ゼロのバイアスと傾き 0.01 の leaky ReLU を使う fixed_layer(X, W) を書いてください。その死んだ割合(ちょうどゼロの出力を数える)は 0 でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。