コースずっと使う勾配の確認の道具
なぜ大切か 間違った勾配は落ちません。訓練がただ静かに悪くなります。勾配の確認の道具は数秒で間違いを捕まえ、どのモジュールでもこれを使います。
考えはモジュール 2 の動きを、すべての重みについてしたものです。重み i を h だけ上下に動かし、両方で損失を測り、差を 2h で割ります。自分の式の勾配と比べます。
どれだけ近ければ近い?
相対誤差 を使います:|a - b| を、|a| と |b| の大きいほう(どちらもごく小さければ 1e-8)で割ったもの。1e-6 未満なら合格、1e-3 を超えるのはほとんどいつもバグを意味します。
勾配の確認:解析的な勾配(自分の式から)と数値的な勾配(少しの動きから)を比べることです。
まとめ 遅いが信頼できる審判。新しい勾配を信頼する前に使いましょう。
このレッスンの言葉と記号
- 学習率 (lr)
- 訓練のそれぞれのステップの大きさ
- 勾配の確認
- 勾配の式を、少し動かして測る見積もりと比べること
numeric_grad(f, w, h=1e-5)(w はどんな形の NumPy の配列でもよく、同じ形の配列を返す)と、最も大きな相対誤差を返す grad_check(f, grad, w) を書いてください。ここで f(w) は重みの配列を受け取って損失をひとつの数として返し、grad は関数ではなく配列(w での自分の式の勾配、すでに計算済み)です。w を永久に変えないでください。どんな形の配列のすべての位置を訪れるにも、for idx in np.ndindex(w.shape): がそれぞれの添字のタプルを順に返します。隠れたテストは、わずかに間違った 3 つの勾配を確認の道具に与えます。どれも 1e-3 を超える点数でなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。