死んだ ReLU
なぜ大切か どの入力でもオフの ReLU は勾配をまったく通さないので、二度と学びません。層全体が静かに死ぬことがあります。
ユニットは、その出力がバッチのどの例でもゼロなら 死んで います。よくある原因:大きな負のバイアス、または重みを大きく負に押しやったひとつの巨大な更新。
小さな数
4 つの例と 3 つのユニットの活性化:[[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]。ユニット 1 はどこでもゼロ:死んでいます。ユニット 3 は一度発火しました:生きています。死んだ割合:3 つのうち 1 つ。
対策:妥当な始まりの重み、0(またはわずかに正)から始まるバイアス、小さな学習率、または負の入力に小さな傾き(例えば 0.01)を保ってユニットが立ち直れるようにする leaky ReLU。
このレッスンの言葉と記号
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
活性化の行列(例 × ユニット)について dead_fraction(H) を書いてください。それから、-4 のバイアスで始めた下の層について、同じ重みを保ちつつ、ゼロのバイアスと傾き 0.01 の leaky ReLU を使う fixed_layer(X, W) を書いてください。その死んだ割合(ちょうどゼロの出力を数える)は 0 でなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。