シラバス レッスン 246 中 48 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

2 層のネットワークの誤差逆伝播を、手で

なぜ大切か このレッスンは、本物のネットワークの誤差逆伝播のすべてです。これのあと、深層学習のライブラリの中に魔法は何もありません。

まず見る

アニメーションを再生してください。誤差は出力で(softmax 引くワンホット)として始まります。2 つ目の層を通って流れ戻り、ReLU がオフだったところではふさがれ、最初の層を通って流れ、すべての重みに勾配を残します。

前向きのたどり

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

逆向きのたどりを、形を合わせて

これを簡単にする手口:どの勾配も、それが属するものと同じ形を持ちます。形がわかれば、たいてい部品を掛ける合うやり方はひとつしかありません。最初の 2 つの手順を解いたもの:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

残りはあなたのものです。それぞれを、それが持たなければならない形から割り出してください:

  • db2:形 (classes,)。それぞれのバイアスはすべての行に足された。
  • dH:形 (n, hidden)、H と同じ。dZ と W2 から来る。
  • dH_pre:形 (n, hidden)。ReLU はオンだったところで入力を通し、ほかではふさいだ。
  • dW1 と db1:W2 と b2 と同じ 2 つの手順を、ひとつ下の層で。

まとめ 逆向きは前向きを逆にしたもので、それぞれの手順の局所的な傾きを掛け、形が道案内です。

このレッスンの言葉と記号
重み (w, W)、バイアス (b)
ニューロンが学ぶ数。バイアスはその出力をずらす
ReLU
max(0, z):正を残し、負をゼロにする
ワンホット
本当のクラスにひとつだけ 1 があるゼロの並び
誤差逆伝播法
すべての重みの勾配を得るため、逆向きに動かす連鎖律
あなたの番

(loss, grads) を返す forward_backward(X, y, W1, b1, W2, b2) を書いてください。grads はキー W1, b1, W2, b2 を持つ辞書です。隠れたテストは、どの勾配も少しの動きと照らし合わせます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。