シラバス レッスン 250 中 104 · ニューラルネットの直感、LLM と AI キャップストーン
ニューラルネットの直感、LLM と AI キャップストーン

誤差逆伝播法と勾配チェック

重みを坂の下へ少しずつ動かして、おもちゃのモデルを学習させました。でも勾配はどこから来るのでしょうか。そしてそれが正しいとどうしてわかるのでしょうか。このレッスンは両方に答えます。2 つ目の答えである 勾配チェック は、動くニューラルネットと、黙って壊れているニューラルネットとを分ける、たったひとつの習慣です。

誤差逆伝播法はただの連鎖律です。 小さなモデルにひとつの例を通します。z = w * x を予測し、二乗誤差 L = (z - y)**2 を測ります。w を改善するには dL/dw が必要です。2 段階で計算して掛け合わせます:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

その積こそが、小さな形での誤差逆伝播法です。各層が、逆向きに流れてくる勾配に自分自身の局所的な微分を掛けます。これを百万個積み重ねれば、深いネットワークになります。

では、その式は正しいでしょうか? 数値で確かめます。微分の定義はごく小さな変化なので、中心差分 で見積もり、解析的な勾配と一致するかを確認します:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

一致しなければ、逆伝播にバグがあります。本格的なディープラーニングのコードベースが勾配チェックをするのは、まさにこの理由からです。

2 つの関数を作ります。 loss(w, x, y) は (w*x - y)**2 を返します。grad(w, x, y) は解析的な勾配 dL/dw = 2*(w*x - y)*x を返します。隠れたテストは、多くのランダムな点で、あなたの grad をあなた自身の loss の差分と比べて勾配チェックするので、間違った式では合格できません。Run を押して、解析的な値と数値的な値がそろうのを見てみましょう。

あなたの番

二乗誤差 (w*x - y)**2 を返す loss(w, x, y) と、w に関するその解析的な勾配を返す grad(w, x, y) を書いてください。勾配は連鎖律により 2*(w*x - y)*x です。あなたの grad は、多くのランダムな点で、あなた自身の loss の中心差分と比べて勾配チェックされるので、近似や定数ではなく本当の微分でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。