ドロップアウトを作る
なぜ大切か ドロップアウトは、ネットワークがどれかひとつのユニットに頼りすぎるのを止める単純なやり方で、多くのモデルの中で見ます。
訓練の間、ドロップアウトはどのステップでも、それぞれのユニットを確率 p(例えば 0.5)でランダムにオフにします。ネットワークはどのひとつのユニットにも頼れません。次のステップでいなくなるかもしれないからです。なので知っていることを多くのものに広げます。
平均を正しく保つ
ユニットの半分がオフになると、次の層はおよそ半分の信号しか受け取りません。今の 逆ドロップアウト は、訓練の間にこれを直します:生き残ったユニットに 1 / (1 - p)、ここでは 2 を掛けるのです。評価のときドロップアウトはまったく何もせず、平均の信号は訓練と一致します。(2014 年の元の論文は代わりに評価のときに縮尺しました。結果は同じですが、逆ドロップアウトなら評価のコードに手を触れずに済みます。)
ドロップアウトの率 p:訓練の間にユニットをオフにする確率です。
このレッスンの言葉と記号
- ドロップアウト (p)
- 訓練の間、確率 p でユニットをランダムにオフにすること
dropout(h, p, training, rng) を書いてください:訓練では、それぞれの項目を確率 p でゼロにし、生き残りを 1 / (1 - p) で縮尺します。そうでなければ h を変えずに返します。残すマスクとして rng.random(h.shape) >= p を使ってください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。