モジュール 6:始まりの重みと正規化
小さすぎ、大きすぎ:消失と爆発
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か 消えた信号は、どの勾配もほぼゼロで訓練が止まることを意味します。爆発したものは、あふれと nan を意味します。どちらも始まりの重みから来ます。
見てみる
アニメーションを再生してください:同じ 20 層の積み重ねを 3 つのやり方で始めたものです。小さすぎると、信号は層ごとに消えて何もなくなります。大きすぎると、2 倍、2 倍となってあふれます。ちょうど良ければ、最後までずっと一定に保たれます。戻りの勾配も同じ運命に苦しみます。
消失:活性化や勾配が、層を通してゼロへ縮むことです。爆発:際限なく増えることです。
このレッスンの言葉と記号
- 消失、爆発
- 信号や勾配が、層を通して何もなくなるまで縮むか、際限なく増えること
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
あなたの番
前のレッスンの spreads(用意されています)を使って、最終的な散らばりが 1e-3 未満なら "vanish"、1e3 を超えれば "explode"、それ以外は "ok" を返す verdict(scale) を書いてください。それから動かす前に、縮尺 0.05、0.14、0.5 について my_predictions を埋めてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。