Backprop untuk net dua lapis, secara manual
Kenapa ini penting Pelajaran ini adalah keseluruhan backpropagation untuk jaringan nyata. Setelah ini, tidak ada yang ajaib di dalam library deep learning.
Lihat dulu
Mainkan animasinya. Kesalahannya dimulai di output sebagai (softmax dikurangi one-hot). Alirannya mundur melalui layer kedua, terhambat di mana pun ReLU mati, mengalir melalui layer pertama, dan meninggalkan gradient pada setiap weight.
Forward pass
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
Pass backward, dengan mencocokkan shape
Trik yang bikin ini gampang: setiap gradient punya bentuk yang sama dengan objek tempat ia berada. Kalau kamu tahu bentuknya, biasanya cuma ada satu cara untuk mengalikan bagian-bagian yang pas. Dua langkah pertama, sudah dikerjakan:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Sis sisanya milikmu. Kerjakan setiap bagian dari bentuk yang harus dimilikinya:
db2: shape (classes,). Setiap bias ditambahkan ke setiap baris.dH: shape (n, hidden), sama dengan H. Ini berasal dari dZ dan W2.dH_pre: shape (n, hidden). ReLU melewatkan inputnya di mana nilainya positif dan memblokirnya di tempat lain.dW1dandb1: dua langkah yang sama seperti untuk W2 dan b2, satu layer di bawahnya.
Ringkasan Backward adalah forward yang dibalik, dikalikan dengan slope lokal setiap langkah, dengan bentuk sebagai panduanmu.
Kata dan simbol di pelajaran ini
- bobot (w, W), bias (b)
- angka yang dipelajari neuron; bias menggeser outputnya
- ReLU
- max(0, z): menyimpan positif, mengubah negatif jadi nol
- ona-panas
- nolong dengan satu angka 1 di kelas yang benar
- backpropagation
- aturan rantai dijalankan mundur untuk mendapatkan gradien setiap bobot
Tulis forward_backward(X, y, W1, b1, W2, b2) yang mengembalikan (loss, grads) di mana grads adalah dictionary dengan kunci W1, b1, W2, b2. Tes tersembunyi memeriksa setiap gradient terhadap sebuah nudge.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.