モジュール 6:始まりの重みと正規化
訓練と評価の罠
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か テストでは良い点を出すのに使うと悪く、目に見える理由がないモデルは、とてもしばしばこのバグです。経験のあるエンジニアをだましてきました。
小さな分類器に BatchNorm の層があります。きちんと訓練され、その移動平均は良いものです。大きなバッチで点数を付けたテストのセットでは、良くできます。一度にひとつの例で使うと、あまりに頻繁に間違えます。
まず探偵の仕事:2 つの違う例について BatchNorm の層が出力するものを表示し、どの統計で正規化しているかを自分に問いましょう。表示したものから割り出してください。詰まったら、3 つのヒントがそこへ案内します。
このレッスンの言葉と記号
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
あなたの番
predict_one(x) は一度にひとつの例で使われ、その正解率は悪いです。理由を見つけ、取っておいたデータでの正解率が少なくとも 90% になるよう predict_one を直してください。cause に、原因を名指しする短い語句を設定してください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。