モジュール 8:訓練クリニック I
作り方:何よりも先に 2 つの確認
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か 壊れた実行のほとんどは、1 時間訓練する前に、2 つの安い確認で 1 分のうちに捕まえられます。
経験のある実践者は、どの新しい準備も同じやり方で始めます:
- 始まりでの損失を確かめる。訓練の前、何も知らない 10 クラスのモデルはどのクラスにも約 0.1 を与えるので、その損失は約 -ln(0.1) = 2.30 のはずです。それよりはるかに上なら、何かの縮尺が間違っています。はるかに下なら、答えが入力を通してモデルに届いています。どの漏れもここに現れるわけではありません:検証の画像が訓練のセットにもあるとき、始まりの損失はふつうで(このクリニックの健全な実行とその漏れの場合はどちらも 2.46 で始まります)、良すぎる検証の点数だけがそれを明かします。
- ひとつのバッチに過学習させる。ひとつの小さなバッチで数百ステップ訓練します。動くモデルと訓練のループなら、32 の例を覚えて損失をゼロ近くまで下げられます。できなければ、バグはモデル、損失、勾配にあり、全データに触れずにそれを見つけたことになります。
- そのあとでやっと、全体の実行へ広げる。
このクリニックは、わざと壊せる小さな数字の分類器です。config(**changes) が準備を作り、train(c) がそれを動かします。
| 探り | 何を教えてくれるか |
|---|---|
loss_curve(c) | 50 ステップごとの訓練の損失と、最終的な検証の正解率。いつもまず見る。 |
loss_at_init(c) | 訓練の前の損失。新しい 10 クラスのモデルは ln(10) = 2.30 の近くのはず。 |
overfit_one_batch(c) | 32 の例を覚えられるか? 健全な準備は 0 の近くに届く。 |
grad_norms(c) | 始まりでの重みの行列ごとの勾配の大きさ。ゼロなら何も学べない。 |
update_ratio(c) | 重みの大きさに対する素朴な SGD の歩幅。健全なのは約 0.001 から 0.1(素朴な SGD の経験則。モジュール 14 がなぜ Adam が違うかを示す)。 |
act_stats(c) | 隠れた活性化:平均、最大の値、死んだユニットの割合。 |
lr_schedule(c) | ステップ 0、50、100、という具合での学習率。 |
batch_labels(c) | 最初のいくつかのバッチのラベル。 |
overlap(c) | 検証の例のうち、いくつが訓練にも現れるか。 |
このレッスンの言葉と記号
- 探り
- 勾配の大きさや死んだユニットのような、実行の手早い測定
- ひとつのバッチに過学習させる
- 準備が少しの例を覚えられるかを確かめること
あなたの番
探りを使って、init_ok(始まりの損失が 2.30 から 0.3 以内)と can_overfit(ひとつのバッチへの過学習の損失が 0.1 未満)を持つ辞書を返す sanity(c) を書いてください。それを健全な準備と suspect に当てはめてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。