Ağırlık başına bir ses düğmesi (RMSProp)
Neden önemli Momentum yönü yumuşatır. RMSProp diğer sorunu düzeltir: bazı ağırlıklar dev gradyanlar, diğerleri minicik gradyanlar alır, bu yüzden tek bir öğrenme oranı hepsine uymaz.
RMSProp her ağırlık için kare gradyanının akan bir ortalamasını tutar: o ağırlığın gradyanının genellikle ne kadar gürültülü olduğu. Sonra her adımı bunun kareköküne böler, gürültülü ağırlıklarda sesi kısıp sessiz olanlarda açmak gibi.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Gerilmiş kâsede dik yönün gürültülü gradyanları vardır ve sesi kısılır, yumuşak yönün sesi açılır, ve kâse neredeyse yuvarlakmış gibi davranır. Bu burada işe yarar çünkü kâsenin dik ve yumuşak yönleri iki ağırlıkla hizalıdır. Vadiyi 45 derece eğ, öyle ki her ağırlık iki yönün bir karışımını görsün, ve ağırlık başına bir ses düğmesi onları ayıramaz: RMSProp ve Adam o zaman çok daha az yardım eder. Vadinin gerçek şekline göre değil, her ağırlığın gradyanının ne kadar gürültülü olduğuna göre yeniden ölçeklerler.
eps: sıfıra bölmeyi engelleyen 1e-8 gibi minicik bir sayı.
Bu dersteki kelimeler ve semboller
- momentum (beta)
- son adımın hızının bir kısmını korumak
- RMSProp
- her ağırlığın adımını, gradyanının genellikle ne kadar gürültülü olduğuna bölmek
- Adam (m, v, t)
- momentum (m) artı ağırlık başına bir ses düğmesi (v), ilk adımlar için düzeltilmiş (t)
Son konumu döndüren rmsprop(grad, start, lr, rho, steps, eps=1e-8) yaz. Gizli test birkaç adımdan sonra konumunu referansla karşılaştırır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.