2 層のネットワークの誤差逆伝播を、手で
なぜ大切か このレッスンは、本物のネットワークの誤差逆伝播のすべてです。これのあと、深層学習のライブラリの中に魔法は何もありません。
まず見る
アニメーションを再生してください。誤差は出力で(softmax 引くワンホット)として始まります。2 つ目の層を通って流れ戻り、ReLU がオフだったところではふさがれ、最初の層を通って流れ、すべての重みに勾配を残します。
前向きのたどり
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
逆向きのたどりを、形を合わせて
これを簡単にする手口:どの勾配も、それが属するものと同じ形を持ちます。形がわかれば、たいてい部品を掛ける合うやり方はひとつしかありません。最初の 2 つの手順を解いたもの:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
残りはあなたのものです。それぞれを、それが持たなければならない形から割り出してください:
db2:形 (classes,)。それぞれのバイアスはすべての行に足された。dH:形 (n, hidden)、H と同じ。dZ と W2 から来る。dH_pre:形 (n, hidden)。ReLU はオンだったところで入力を通し、ほかではふさいだ。dW1とdb1:W2 と b2 と同じ 2 つの手順を、ひとつ下の層で。
まとめ 逆向きは前向きを逆にしたもので、それぞれの手順の局所的な傾きを掛け、形が道案内です。
このレッスンの言葉と記号
- 重み (w, W)、バイアス (b)
- ニューロンが学ぶ数。バイアスはその出力をずらす
- ReLU
- max(0, z):正を残し、負をゼロにする
- ワンホット
- 本当のクラスにひとつだけ 1 があるゼロの並び
- 誤差逆伝播法
- すべての重みの勾配を得るため、逆向きに動かす連鎖律
(loss, grads) を返す forward_backward(X, y, W1, b1, W2, b2) を書いてください。grads はキー W1, b1, W2, b2 を持つ辞書です。隠れたテストは、どの勾配も少しの動きと照らし合わせます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。