信号を一定に保つ縮尺(Xavier と He)
なぜ大切か 「始まりの重みはどれだけ大きくすべきか」には正確な答えがあります。それを使えば、深いネットワークが訓練できるようになります。
小さな数
層のひとつの出力は、入力と重みの n_in 個の積を足し合わせます。入力の散らばりが 1、重みの散らばりが s なら、そうした n_in 個の項の和の散らばりは s 掛ける sqrt(n_in) です(分散は足し合わさる:モジュール 2「散らばりがどう足し合わさるか」)。それを 1 に保つには、s = 1 / sqrt(n_in) を選びます。それが LeCun の初期化です。Xavier(Glorot とも呼ばれる)の初期化は、n_out による戻りの勾配も一定に保つので、間を取ります:s = sqrt(2 / (n_in + n_out))。n_in が n_out に等しければ、2 つは同じです。どちらも tanh に合います。
ReLU は負の半分を捨てるので、2 乗の平均の大きさが半分になります。2 倍の分散でそれを埋め合わせます:s = sqrt(2 / n_in)。それが He の初期化で、ReLU に正しいものです。幅 100 では、He は sqrt(0.02) = 0.141 を与えます:前のレッスンのまさに「ok」の縮尺です。
まとめ tanh:Xavier、sqrt(2 / (n_in + n_out))、または LeCun、1 / sqrt(n_in)。ReLU:He、sqrt(2 / n_in)。
このレッスンの言葉と記号
- 初期化
- 訓練が始まる前に重みをどう設定するか
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
重みの行列を返す xavier(n_in, n_out, rng) と he(n_in, n_out, rng) を書いてください。He の重みでは、幅 256 の 20 の ReLU の層のあとの活性化の散らばりが、0.2 から 5 の間にとどまらなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。