行列の掛け算の逆向き
なぜ大切か 行列の掛け算は、どの層の働き手でもあります。その逆向きの規則は 2 行で、形だけから導けます。
小さな数
A の形が (2, 3)、B の形が (3, 4) の out = A @ B を取るので、out は (2, 4) です。届く勾配 G は out の形 (2, 4) を持ちます。A の勾配は A の形 (2, 3) でなければなりません。G (2, 4) と B (3, 4) から (2, 3) を作る唯一のやり方は G @ B.T です。同じように B の勾配 (3, 4) は A.T @ G でなければなりません。
頭の中でひとつの項目を確かめます:out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]。A[0, 1] を動かすと、out[0, 0] は B[1, 0] 掛ける動きだけ動きます。それは、G が (0, 0) で 1、ほかで 0 のときの G @ B.T の項目 (0, 1) そのものです。
まとめ dA = G @ B.T、dB = A.T @ G。忘れたら、形を合わせましょう。
このレッスンの言葉と記号
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- .grad
- この Tensor についての、最終的な損失の勾配
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
__matmul__ をその _backward 付きで書いてください。隠れたテストは、ランダムな形の (A @ B) * C の勾配を確かめます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。