Silabus Pelajaran 48 dari 246 · Modul 3: Neuron ke MLP
Modul 3: Neuron ke MLP

Backprop untuk net dua lapis, secara manual

Kenapa ini penting Pelajaran ini adalah keseluruhan backpropagation untuk jaringan nyata. Setelah ini, tidak ada yang ajaib di dalam library deep learning.

Lihat dulu

Mainkan animasinya. Kesalahannya dimulai di output sebagai (softmax dikurangi one-hot). Alirannya mundur melalui layer kedua, terhambat di mana pun ReLU mati, mengalir melalui layer pertama, dan meninggalkan gradient pada setiap weight.

Forward pass

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

Pass backward, dengan mencocokkan shape

Trik yang bikin ini gampang: setiap gradient punya bentuk yang sama dengan objek tempat ia berada. Kalau kamu tahu bentuknya, biasanya cuma ada satu cara untuk mengalikan bagian-bagian yang pas. Dua langkah pertama, sudah dikerjakan:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Sis sisanya milikmu. Kerjakan setiap bagian dari bentuk yang harus dimilikinya:

  • db2: shape (classes,). Setiap bias ditambahkan ke setiap baris.
  • dH: shape (n, hidden), sama dengan H. Ini berasal dari dZ dan W2.
  • dH_pre: shape (n, hidden). ReLU melewatkan inputnya di mana nilainya positif dan memblokirnya di tempat lain.
  • dW1 dan db1: dua langkah yang sama seperti untuk W2 dan b2, satu layer di bawahnya.

Ringkasan Backward adalah forward yang dibalik, dikalikan dengan slope lokal setiap langkah, dengan bentuk sebagai panduanmu.

Kata dan simbol di pelajaran ini
bobot (w, W), bias (b)
angka yang dipelajari neuron; bias menggeser outputnya
ReLU
max(0, z): menyimpan positif, mengubah negatif jadi nol
ona-panas
nolong dengan satu angka 1 di kelas yang benar
backpropagation
aturan rantai dijalankan mundur untuk mendapatkan gradien setiap bobot
Giliranku

Tulis forward_backward(X, y, W1, b1, W2, b2) yang mengembalikan (loss, grads) di mana grads adalah dictionary dengan kunci W1, b1, W2, b2. Tes tersembunyi memeriksa setiap gradient terhadap sebuah nudge.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.