シラバス レッスン 246 中 75 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

20 層を通る信号

なぜ大切か 深いネットワークが何かを学ぶ前に、信号はすべての層を通る旅を生き延びなければなりません。しばしばそうならず、どの最適化手法もそれを直せません。

ランダムな入力のバッチを、どの重みもある散らばりの正規分布から引いた、20 層の h = relu(h @ W) に通します。それぞれの層のあとで、活性化の散らばり(標準偏差)を測ります。

小さな数

どの層も、信号の典型的な大きさにおよそ同じ倍率を掛けます。その倍率が 0.5 なら、20 層のあとで信号は 0.5 の 20 乗:約 100 万分の 1 です。2 なら、約 100 万倍大きくなります。生き延びるのは 1 に近い倍率だけです。

まとめ 深さは、層ごとの小さな変化を巨大なものに変えます。

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
あなたの番

spreads(scale, depth=20, width=100, seed=0) を書いてください:h = rng.standard_normal((256, width)) から始め、それからそれぞれの層について W = rng.normal(0, scale, (width, width)) を引いて h = relu(h @ W) にします。それぞれの層のあとの h.std() のリストを返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。