シラバス レッスン 246 中 29 · モジュール 2:数学と確率、必要なぶんだけ
モジュール 2:数学と確率、必要なぶんだけ

行列全体の勾配(形の規則)

なぜ大切か 層は行列全体の上で働くので、その勾配も行列です。ひとつの規則とひとつの手口で、何も覚えずにほとんどどの層の逆向きのたどりも導けます。

形の規則

損失 L はひとつの数です。どの配列についての L の勾配も、まさにその配列の形 を持ちます。項目ごとにひとつの傾きです。なので W が (3, 4) なら、dL/dW は (3, 4) です。

小さな数:Y = X @ W

X が (2, 3)、W が (3, 4)、Y = X @ W が (2, 4) で、後の手順が Y を L に変えるとします。逆向きは G = dL/dY、形 (2, 4) を渡します。それぞれの項目 Y[i, j] は k についての X[i, k] W[k, j] の和です。W[k, j] を動かすと、列 j のすべての Y[i, j] が X[i, k] 掛ける動きだけ動きます。なので dL/dW[k, j] = i についての X[i, k] G[i, j] の和です。それは X.T @ G の項目のひとつで、(3, 4):規則の言うとおり W の形です。

X について同じ推論をすると dL/dX = G @ W.T、形 (2, 3) になります。両方を覚える手早いやり方:G をもう一方の行列と、転置して、形が合う唯一の順番で組ませます。

ヤコビアン、そしてなぜ誰もそれを作らないのか

すべての出力の項目がすべての入力の項目とともにどう動くかの完全な表が ヤコビアン です。W が 1000 × 1000 で行が 64 の Y = X @ W では、その表は 6 万 4 千の出力掛ける 100 万の重み:640 億の項目になります。逆向きは決してそれを作りません。必要なのはいつも G 掛けるヤコビアンだけで、それは小さな積 X.T @ G です。その積が、前のレッスンのベクトル・ヤコビアン積です。

ヤコビアン:すべての入力についてのすべての出力の傾きを、ひとつの大きな表にしたものです。ベクトル・ヤコビアン積:ひとつの手順を通して押し戻した勾配で、表なしで直接計算します。

まとめ そのものと同じ形。Y = X @ W では:dW = X.T @ G、dX = G @ W.T。

このレッスンの言葉と記号
ベクトル
特徴ごとにひとつの、数のリスト
微分 (df/dx)
入力の単位の動きあたりに、出力がどれだけ速く変わるか
あなたの番

Y = X @ W について (dX, dW) を返す matmul_grads(X, W, G) と、Y = A * B(同じ形、項目ごと)について (dA, dB) を返す elementwise_grads(A, B, G) を書いてください。隠れたテストは、見たことのない形で、両方を少しずつ動かすことと照らし合わせて確かめます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。