仕込まれたバグを見つけて直す
なぜ大切か 機械学習の最悪のバグはクラッシュしません。訓練でき、あるべきより少し悪くなり、誰も気づきません。勾配の確認はそれを数秒で見つけます。
同僚がスタジオの勾配のコードを速くするため書き直しました:suspect_grads。本物の仕事でよくあるように(ライブラリ、チームメイトのブランチ、生成したコード)、それを読むことはできません。それで訓練しても、基準はまだ学びます:コースの既定の計画では language の点数は約 0.05 悪いだけで、images では、シード 0 で、むしろ高い点数になります。どちらも、不注意な読み手がノイズと呼ぶものの中です。その中の何かが間違っています。
モジュール 3 が教えたやり方で確かめてください:ひとつの重みを少しだけ動かし、損失の変化を測り、コードが主張する傾きと比べます。小さなモデル(幅 8、16 のバッチ)の上で、W1、b1、W2、b2 のそれぞれの 5 つの項目について、主張する傾きが 0 でない項目の中から選んでこれをしてください(ワンホットの入力では W1 の傾きのほとんどはちょうど 0 で、そこでの確認は何も証明しない)。studio.loss64 と 1e-4 の動きで損失を float64 で測ります。相対誤差が 0.01 より上なら間違いとします。
このレッスンの言葉と記号
- 基準
- 同じシードの上で、どの変更もそれと比べて測る素の実行
- 勾配の確認
- コードが計算する傾きを、重みを少し動かして測った傾きと比べること
'W1'、'b1'、'W2'、'b2' のそれぞれについて、5 つの項目の上での最大の相対誤差を返す check(grad_fn) を書いてください。wrong を誤差が 0.01 より上の名前を並べたものに、cause をひとつの文に設定します:逆向きのたどりの中で間違った勾配のあるところに何があり、そこで何がおそらく落とされたか。それから fixed_grads を自分で書いてください(前向きのたどりは m.forward、損失とその傾きは studio.loss_and_dout)。それからそれぞれで基準(シード 0)を訓練し、両方の点数を表示します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。