Müfredat 246 dersinden 128. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

Kaybolan ve patlayan gradyanlar, ölçülmüş

Neden önemli Az önce erken bir adımın gradyanının adım başına bir kez w ile çarpıldığını gördün. Çok sayıda adımla bu çarpım ya hiçliğe küçülür ya da patlar. Düz RNN'lerin asıl zayıflığı budur.

Bir sayı yerine bir W ağırlık matrisiyle, bir adım geri gitmek gradyanı W'nin devriğiyle çarpar (tanh'ı yok sayarak, ki o yalnızca daha da küçültebilir). Bir adım bir vektörü en fazla W'nin en büyük esnemesi, spektral normu kadar büyütebilir. Çok sayıda adımda önemli olan spektral yarıçaptır, W'nin en büyük özdeğerinin büyüklüğü (Modül 2, "Yayılım nasıl toplanır, ve bir matris neyi esnetir"): k adımdan sonra boyut kabaca r üssü k kadar değişmiştir. (Aşağıda kullanılan dönmeler için ikisi aynı sayıdır, r.) 50 adımda r = 0.9: 0.005. 50 adımda r = 1.1: 117.

İki farklı ilaç

Patlayan gradyanların kaba bir ilacı var: onları kırp (Modül 5). Kaybolan gradyanların böyle bir ilacı yok. Bir ağırlığın toplam gradyanı zamanda geriye doğru her uzaklık üzerinden bir toplamdır; uzun menzilli terimler 0.9 üssü 50 gibi küçüldüğünde kısa menzilli olanlarda boğulurlar, ve bütün toplamı büyütmek gürültüyü de onlarla büyütür. Ağ çok gerideki bir şeyin önemli olduğunu basitçe anlayamaz. Oradaki ilaç farklı bir mimaridir: sıradaki LSTM.

Bu dersteki kelimeler ve semboller
yinelemeli ağ (RNN)
her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
kaybolan / patlayan gradyan
aynı matrisle birçok kez çarpılan bir gradyan hiçliğe küçülür ya da patlar
LSTM
bir bellek hücresi c ve üç kapısı olan bir RNN: unutma, girdi, çıktı
Senin sıran

gradient_sizes(W, steps) yaz: birlerden oluşan bir gradyandan başla, adım başına bir kez W.T ile çarp ve normların listesini (adım başına bir tane) döndür. Sonra 50 adımdan sonraki norma göre değerlendirerek (0.01'in altı, 0.01 ile 100 arası, 100'ün üstü) üç matris için verdicts değerini "vanish", "steady" ya da "explode" olarak ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.