シラバス レッスン 246 中 82 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

訓練と評価の罠

なぜ大切か テストでは良い点を出すのに使うと悪く、目に見える理由がないモデルは、とてもしばしばこのバグです。経験のあるエンジニアをだましてきました。

小さな分類器に BatchNorm の層があります。きちんと訓練され、その移動平均は良いものです。大きなバッチで点数を付けたテストのセットでは、良くできます。一度にひとつの例で使うと、あまりに頻繁に間違えます。

まず探偵の仕事:2 つの違う例について BatchNorm の層が出力するものを表示し、どの統計で正規化しているかを自分に問いましょう。表示したものから割り出してください。詰まったら、3 つのヒントがそこへ案内します。

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
BatchNorm (gamma, beta)
それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
あなたの番

predict_one(x) は一度にひとつの例で使われ、その正解率は悪いです。理由を見つけ、取っておいたデータでの正解率が少なくとも 90% になるよう predict_one を直してください。cause に、原因を名指しする短い語句を設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。