シラバス レッスン 246 中 100 · モジュール 8:訓練クリニック I
モジュール 8:訓練クリニック I

助け手を信頼する?

なぜ大切か AI のアシスタントは喜んで訓練の実行を診断します。しばしば正しく、ときどき自信満々に間違えます。技は、口調ではなく証拠を使って、どちらかを知ることです。

AI の助け手が 10 の壊れた実行を見て、それぞれの欠陥を名指ししました。その答えの約 3 分の 1 は間違っていて、正しいものとまったく同じくらい自信ありげに聞こえます。それぞれの場合について決めてください:受け入れるか、拒むか。どの判断も、主張がどれだけもっともらしく聞こえるかではなく、探りに基づかせてください。

点数は判定の正解率です:受け入れか拒否が、どれだけ真実と一致したか。(これは較正ではありません。較正はモジュール 9 が定義します:自信が、どれだけ正しいかと一致するか。)いくつかの症状には合うが決め手のものには合わない主張に気を付けてください:止まった損失は、低すぎる学習率かもしれないし、問題なかったものが下げられたのかもしれません。

探り何を教えてくれるか
loss_curve(c)50 ステップごとの訓練の損失と、最終的な検証の正解率。いつもまず見る。
loss_at_init(c)訓練の前の損失。新しい 10 クラスのモデルは ln(10) = 2.30 の近くのはず。
overfit_one_batch(c)32 の例を覚えられるか? 健全な準備は 0 の近くに届く。
grad_norms(c)始まりでの重みの行列ごとの勾配の大きさ。ゼロなら何も学べない。
update_ratio(c)重みの大きさに対する素朴な SGD の歩幅。健全なのは約 0.001 から 0.1(素朴な SGD の経験則。モジュール 14 がなぜ Adam が違うかを示す)。
act_stats(c)隠れた活性化:平均、最大の値、死んだユニットの割合。
lr_schedule(c)ステップ 0、50、100、という具合での学習率。
batch_labels(c)最初のいくつかのバッチのラベル。
overlap(c)検証の例のうち、いくつが訓練にも現れるか。
このレッスンの言葉と記号
探り
勾配の大きさや死んだユニットのような、実行の手早い測定
判定の正解率
主張の受け入れか拒否が、どれだけ真実と一致したか
あなたの番

場合 A から J のそれぞれについて、verdicts[case] を True(助け手が正しい)か False に設定してください。10 のうち少なくとも 9 を正しくする必要があります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。