シラバス レッスン 246 中 96 · モジュール 8:訓練クリニック I
モジュール 8:訓練クリニック I

クリニック:学習率の欠陥

なぜ大切か 学習率は、悪い実行の最もよくある原因です。間違い方の種類ごとに違う跡が残ります。

高すぎ:歩みが行き過ぎ、損失は跳ね回るか登り、更新と重みの比は 1 に近いかそれを超えます。低すぎ:ほとんど何も動かず、損失は 2.30 の近くにとどまり、比はごく小さいです。早く下げすぎ:実行はしばらく学び、それから良くならなくなります。そこからは、損失はバッチごとに平凡な水準(ここでは約 1.1 から 1.5 の間)のまわりで揺れるだけで、スケジュールは率が崩れるのを示します。

下のそれぞれの場合は、ひとつの欠陥を仕込んだ訓練の実行です。それぞれについて:探りを使って欠陥を見つけ、それから設定の変更として対策を書いてください。このレッスンの欠陥:lr_too_high, lr_too_low, lr_dropped_early。探りは少ないほど良く、良い診断者が場合ごとに 2 つより多く要ることはめったにありません。

探り何を教えてくれるか
loss_curve(c)50 ステップごとの訓練の損失と、最終的な検証の正解率。いつもまず見る。
loss_at_init(c)訓練の前の損失。新しい 10 クラスのモデルは ln(10) = 2.30 の近くのはず。
overfit_one_batch(c)32 の例を覚えられるか? 健全な準備は 0 の近くに届く。
grad_norms(c)始まりでの重みの行列ごとの勾配の大きさ。ゼロなら何も学べない。
update_ratio(c)重みの大きさに対する素朴な SGD の歩幅。健全なのは約 0.001 から 0.1(素朴な SGD の経験則。モジュール 14 がなぜ Adam が違うかを示す)。
act_stats(c)隠れた活性化:平均、最大の値、死んだユニットの割合。
lr_schedule(c)ステップ 0、50、100、という具合での学習率。
batch_labels(c)最初のいくつかのバッチのラベル。
overlap(c)検証の例のうち、いくつが訓練にも現れるか。
このレッスンの言葉と記号
探り
勾配の大きさや死んだユニットのような、実行の手早い測定
更新と重みの比
1 回の歩みが、それぞれの重みをその大きさに対してどれだけ変えるか
あなたの番

場合 A、B、C について、diagnosis(場合から欠陥の名前へ)と fixes(場合から設定の変更の辞書へ)を埋めてください。対策は欠陥を取り除き、少なくとも 90% の検証の正解率まで訓練しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。