İki katmanlı bir ağ için elle geri yayılım
Neden önemli Bu ders gerçek bir ağ için geri yayılımın tamamıdır. Ondan sonra bir derin öğrenme kütüphanesindeki hiçbir şey sihir değildir.
Önce gör
Animasyonu oynat. Hata çıktıda (softmax eksi one-hot) olarak başlar. İkinci katmandan geri akar, bir ReLU'nun kapalı olduğu her yerde engellenir, ilk katmandan akar ve her ağırlığın üzerinde bir gradyan bırakır.
İleri geçiş
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
Şekilleri eşleştirerek geri geçiş
Bunu kolaylaştıran hile: her gradyan ait olduğu şeyle aynı şekle sahiptir. Şekilleri biliyorsan, parçaları çarpmanın uyan genellikle tek bir yolu vardır. İlk iki adım, çözülmüş olarak:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Gerisi senin. Her birini sahip olması gereken şekillerden çıkar:
db2: şekil (classes,). Her sapma her satıra eklendi.dH: şekil (n, hidden), H ile aynı. dZ ve W2'den gelir.dH_pre: şekil (n, hidden). ReLU girdisini açık olduğu yerde geçirdi, başka yerlerde engelledi.dW1vedb1: W2 ve b2 için olan aynı iki adım, bir katman aşağıda.
Özet Geri geçiş, rehberin şekiller olmak üzere her adımın yerel eğimiyle çarparak tersine çalıştırılan ileri geçiştir.
Bu dersteki kelimeler ve semboller
- ağırlıklar (w, W), sapma (b)
- bir nöronun öğrendiği sayılar; sapma çıktısını kaydırır
- ReLU
- max(0, z): pozitifleri tutar, negatifleri sıfırlar
- one-hot
- doğru sınıfta tek bir 1 bulunan sıfırlar
- geri yayılım
- her ağırlığın gradyanını almak için geriye doğru çalıştırılan zincir kuralı
(loss, grads) döndüren forward_backward(X, y, W1, b1, W2, b2) yaz; burada grads, W1, b1, W2, b2 anahtarlarına sahip bir sözlüktür. Gizli test her gradyanı bir itmeye karşı kontrol eder.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.