Müfredat 246 dersinden 48. · Modül 3: Nörondan MLP'ye
Modül 3: Nörondan MLP'ye

İki katmanlı bir ağ için elle geri yayılım

Neden önemli Bu ders gerçek bir ağ için geri yayılımın tamamıdır. Ondan sonra bir derin öğrenme kütüphanesindeki hiçbir şey sihir değildir.

Önce gör

Animasyonu oynat. Hata çıktıda (softmax eksi one-hot) olarak başlar. İkinci katmandan geri akar, bir ReLU'nun kapalı olduğu her yerde engellenir, ilk katmandan akar ve her ağırlığın üzerinde bir gradyan bırakır.

İleri geçiş

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

Şekilleri eşleştirerek geri geçiş

Bunu kolaylaştıran hile: her gradyan ait olduğu şeyle aynı şekle sahiptir. Şekilleri biliyorsan, parçaları çarpmanın uyan genellikle tek bir yolu vardır. İlk iki adım, çözülmüş olarak:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Gerisi senin. Her birini sahip olması gereken şekillerden çıkar:

  • db2: şekil (classes,). Her sapma her satıra eklendi.
  • dH: şekil (n, hidden), H ile aynı. dZ ve W2'den gelir.
  • dH_pre: şekil (n, hidden). ReLU girdisini açık olduğu yerde geçirdi, başka yerlerde engelledi.
  • dW1 ve db1: W2 ve b2 için olan aynı iki adım, bir katman aşağıda.

Özet Geri geçiş, rehberin şekiller olmak üzere her adımın yerel eğimiyle çarparak tersine çalıştırılan ileri geçiştir.

Bu dersteki kelimeler ve semboller
ağırlıklar (w, W), sapma (b)
bir nöronun öğrendiği sayılar; sapma çıktısını kaydırır
ReLU
max(0, z): pozitifleri tutar, negatifleri sıfırlar
one-hot
doğru sınıfta tek bir 1 bulunan sıfırlar
geri yayılım
her ağırlığın gradyanını almak için geriye doğru çalıştırılan zincir kuralı
Senin sıran

(loss, grads) döndüren forward_backward(X, y, W1, b1, W2, b2) yaz; burada grads, W1, b1, W2, b2 anahtarlarına sahip bir sözlüktür. Gizli test her gradyanı bir itmeye karşı kontrol eder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.