Kaybolan ve patlayan gradyanlar, ölçülmüş
Neden önemli Az önce erken bir adımın gradyanının adım başına bir kez w ile çarpıldığını gördün. Çok sayıda adımla bu çarpım ya hiçliğe küçülür ya da patlar. Düz RNN'lerin asıl zayıflığı budur.
Bir sayı yerine bir W ağırlık matrisiyle, bir adım geri gitmek gradyanı W'nin devriğiyle çarpar (tanh'ı yok sayarak, ki o yalnızca daha da küçültebilir). Bir adım bir vektörü en fazla W'nin en büyük esnemesi, spektral normu kadar büyütebilir. Çok sayıda adımda önemli olan spektral yarıçaptır, W'nin en büyük özdeğerinin büyüklüğü (Modül 2, "Yayılım nasıl toplanır, ve bir matris neyi esnetir"): k adımdan sonra boyut kabaca r üssü k kadar değişmiştir. (Aşağıda kullanılan dönmeler için ikisi aynı sayıdır, r.) 50 adımda r = 0.9: 0.005. 50 adımda r = 1.1: 117.
İki farklı ilaç
Patlayan gradyanların kaba bir ilacı var: onları kırp (Modül 5). Kaybolan gradyanların böyle bir ilacı yok. Bir ağırlığın toplam gradyanı zamanda geriye doğru her uzaklık üzerinden bir toplamdır; uzun menzilli terimler 0.9 üssü 50 gibi küçüldüğünde kısa menzilli olanlarda boğulurlar, ve bütün toplamı büyütmek gürültüyü de onlarla büyütür. Ağ çok gerideki bir şeyin önemli olduğunu basitçe anlayamaz. Oradaki ilaç farklı bir mimaridir: sıradaki LSTM.
Bu dersteki kelimeler ve semboller
- yinelemeli ağ (RNN)
- her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
- kaybolan / patlayan gradyan
- aynı matrisle birçok kez çarpılan bir gradyan hiçliğe küçülür ya da patlar
- LSTM
- bir bellek hücresi c ve üç kapısı olan bir RNN: unutma, girdi, çıktı
gradient_sizes(W, steps) yaz: birlerden oluşan bir gradyandan başla, adım başına bir kez W.T ile çarp ve normların listesini (adım başına bir tane) döndür. Sonra 50 adımdan sonraki norma göre değerlendirerek (0.01'in altı, 0.01 ile 100 arası, 100'ün üstü) üç matris için verdicts değerini "vanish", "steady" ya da "explode" olarak ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.