関門:見たことのない 3 つの壊れた実行(AI オフ)
なぜ大切か 予算のもとで、ひとりで診断することが、このモジュールが目指す技です。
AI のチューターはオフです。3 つの実行があり、それぞれこのモジュールのどこかからの欠陥をひとつ持ちます。練習の場合ではなく新しい実行です:ほかのシード、別のバッチの大きさ、ほかの大きさの欠陥なので、練習から覚えている数は一致しません。予算は全部で 9 回の探りで(封じた場合を訓練するのも 1 回と数える)、ページが開いてからのすべての実行にわたって数えます(同じ場合に探りを繰り返すのはただです。間違った診断や動かない対策は 1 回分かかります)。
下のそれぞれの場合は、ひとつの欠陥を仕込んだ訓練の実行です。それぞれについて:探りを使って欠陥を見つけ、それから設定の変更として対策を書いてください。このレッスンの欠陥:any fault from this module(このモジュールのどの欠陥でも)。探りは少ないほど良く、良い診断者が場合ごとに 2 つより多く要ることはめったにありません。
| 探り | 何を教えてくれるか |
|---|---|
loss_curve(c) | 50 ステップごとの訓練の損失と、最終的な検証の正解率。いつもまず見る。 |
loss_at_init(c) | 訓練の前の損失。新しい 10 クラスのモデルは ln(10) = 2.30 の近くのはず。 |
overfit_one_batch(c) | 32 の例を覚えられるか? 健全な準備は 0 の近くに届く。 |
grad_norms(c) | 始まりでの重みの行列ごとの勾配の大きさ。ゼロなら何も学べない。 |
update_ratio(c) | 重みの大きさに対する素朴な SGD の歩幅。健全なのは約 0.001 から 0.1(素朴な SGD の経験則。モジュール 14 がなぜ Adam が違うかを示す)。 |
act_stats(c) | 隠れた活性化:平均、最大の値、死んだユニットの割合。 |
lr_schedule(c) | ステップ 0、50、100、という具合での学習率。 |
batch_labels(c) | 最初のいくつかのバッチのラベル。 |
overlap(c) | 検証の例のうち、いくつが訓練にも現れるか。 |
このレッスンの言葉と記号
- 探り
- 勾配の大きさや死んだユニットのような、実行の手早い測定
場合 A、B、C について、diagnosis(場合から欠陥の名前へ)と fixes(場合から設定の変更の辞書へ)を埋めてください。対策は欠陥を取り除き、少なくとも 90% の検証の正解率まで訓練しなければなりません。
AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。