Müfredat 246 dersinden 127. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

Zaman boyunca geri yayılım sıradan geri yayılımdır

Neden önemli "Zaman boyunca geri yayılım" yeni bir algoritma gibi duruyor. Değil: döngüyü aç, katmanları tek bir ağırlık kümesini paylaşan derin bir ağ üzerinde geri yayılımdır.

Gör

Animasyonu oynat. Yan yana çizilmiş bir RNN'in üç adımı üç katmandır. Aynı w ağırlığı her birinde görünür. Geriye doğru w'nin gradyanı, tıpkı Modül 4 motorundaki birkaç kez kullanılan bir düğüm gibi, her kopyadan bir katkı toplar.

Küçük sayılar

Tek sayılı doğrusal bir RNN: h_t = w h_(t-1) + x_t, h_0 = 0'dan başlıyor, kayıp = h_3. 1, 2, 3 girdileri ve w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Geri giderken dL/dh2 = w = 0.5 ve dL/dh1 = w kare = 0.25. w'nin her kopyası (çıktısındaki gradyan) çarpı (çarptığı h) katkı yapar: 1 çarpı h2 + 0.5 çarpı h1 + 0.25 çarpı h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: zaman boyunca geri yayılım; adımları aç ve bir ağırlığı paylaşan her adımdan gelen gradyanı toplayarak geri yay.

Bu dersteki kelimeler ve semboller
yinelemeli ağ (RNN)
her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
zaman boyunca geri yayılım (BPTT)
adımları aç ve bir ağırlığı paylaşan her adımdan gelen gradyanı toplayarak geri yay
Senin sıran

h_0 = 0 ve kayıp h_T (son durum) olan tek sayılı h_t = w * h_(t-1) + x_t RNN'i için adımlar boyunca geriye yürüyerek dL/dw döndüren bptt(xs, w) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.