シラバス レッスン 246 中 56 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

行列の掛け算の逆向き

なぜ大切か 行列の掛け算は、どの層の働き手でもあります。その逆向きの規則は 2 行で、形だけから導けます。

小さな数

A の形が (2, 3)、B の形が (3, 4) の out = A @ B を取るので、out は (2, 4) です。届く勾配 G は out の形 (2, 4) を持ちます。A の勾配は A の形 (2, 3) でなければなりません。G (2, 4) と B (3, 4) から (2, 3) を作る唯一のやり方は G @ B.T です。同じように B の勾配 (3, 4) は A.T @ G でなければなりません。

頭の中でひとつの項目を確かめます:out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]。A[0, 1] を動かすと、out[0, 0] は B[1, 0] 掛ける動きだけ動きます。それは、G が (0, 0) で 1、ほかで 0 のときの G @ B.T の項目 (0, 1) そのものです。

まとめ dA = G @ B.T、dB = A.T @ G。忘れたら、形を合わせましょう。

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

__matmul__ をその _backward 付きで書いてください。隠れたテストは、ランダムな形の (A @ B) * C の勾配を確かめます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。