20 層を通る信号
なぜ大切か 深いネットワークが何かを学ぶ前に、信号はすべての層を通る旅を生き延びなければなりません。しばしばそうならず、どの最適化手法もそれを直せません。
ランダムな入力のバッチを、どの重みもある散らばりの正規分布から引いた、20 層の h = relu(h @ W) に通します。それぞれの層のあとで、活性化の散らばり(標準偏差)を測ります。
小さな数
どの層も、信号の典型的な大きさにおよそ同じ倍率を掛けます。その倍率が 0.5 なら、20 層のあとで信号は 0.5 の 20 乗:約 100 万分の 1 です。2 なら、約 100 万倍大きくなります。生き延びるのは 1 に近い倍率だけです。
まとめ 深さは、層ごとの小さな変化を巨大なものに変えます。
このレッスンの言葉と記号
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
spreads(scale, depth=20, width=100, seed=0) を書いてください:h = rng.standard_normal((256, width)) から始め、それからそれぞれの層について W = rng.normal(0, scale, (width, width)) を引いて h = relu(h @ W) にします。それぞれの層のあとの h.std() のリストを返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。