シラバス レッスン 246 中 46 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

コースずっと使う勾配の確認の道具

なぜ大切か 間違った勾配は落ちません。訓練がただ静かに悪くなります。勾配の確認の道具は数秒で間違いを捕まえ、どのモジュールでもこれを使います。

考えはモジュール 2 の動きを、すべての重みについてしたものです。重み i を h だけ上下に動かし、両方で損失を測り、差を 2h で割ります。自分の式の勾配と比べます。

どれだけ近ければ近い?

相対誤差 を使います:|a - b| を、|a| と |b| の大きいほう(どちらもごく小さければ 1e-8)で割ったもの。1e-6 未満なら合格、1e-3 を超えるのはほとんどいつもバグを意味します。

勾配の確認:解析的な勾配(自分の式から)と数値的な勾配(少しの動きから)を比べることです。

まとめ 遅いが信頼できる審判。新しい勾配を信頼する前に使いましょう。

このレッスンの言葉と記号
学習率 (lr)
訓練のそれぞれのステップの大きさ
勾配の確認
勾配の式を、少し動かして測る見積もりと比べること
あなたの番

numeric_grad(f, w, h=1e-5)(w はどんな形の NumPy の配列でもよく、同じ形の配列を返す)と、最も大きな相対誤差を返す grad_check(f, grad, w) を書いてください。ここで f(w) は重みの配列を受け取って損失をひとつの数として返し、grad は関数ではなく配列(w での自分の式の勾配、すでに計算済み)です。w を永久に変えないでください。どんな形の配列のすべての位置を訪れるにも、for idx in np.ndindex(w.shape): がそれぞれの添字のタプルを順に返します。隠れたテストは、わずかに間違った 3 つの勾配を確認の道具に与えます。どれも 1e-3 を超える点数でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。