Müfredat 246 dersinden 69. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Ağırlık başına bir ses düğmesi (RMSProp)

Neden önemli Momentum yönü yumuşatır. RMSProp diğer sorunu düzeltir: bazı ağırlıklar dev gradyanlar, diğerleri minicik gradyanlar alır, bu yüzden tek bir öğrenme oranı hepsine uymaz.

RMSProp her ağırlık için kare gradyanının akan bir ortalamasını tutar: o ağırlığın gradyanının genellikle ne kadar gürültülü olduğu. Sonra her adımı bunun kareköküne böler, gürültülü ağırlıklarda sesi kısıp sessiz olanlarda açmak gibi.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

Gerilmiş kâsede dik yönün gürültülü gradyanları vardır ve sesi kısılır, yumuşak yönün sesi açılır, ve kâse neredeyse yuvarlakmış gibi davranır. Bu burada işe yarar çünkü kâsenin dik ve yumuşak yönleri iki ağırlıkla hizalıdır. Vadiyi 45 derece eğ, öyle ki her ağırlık iki yönün bir karışımını görsün, ve ağırlık başına bir ses düğmesi onları ayıramaz: RMSProp ve Adam o zaman çok daha az yardım eder. Vadinin gerçek şekline göre değil, her ağırlığın gradyanının ne kadar gürültülü olduğuna göre yeniden ölçeklerler.

eps: sıfıra bölmeyi engelleyen 1e-8 gibi minicik bir sayı.

Bu dersteki kelimeler ve semboller
momentum (beta)
son adımın hızının bir kısmını korumak
RMSProp
her ağırlığın adımını, gradyanının genellikle ne kadar gürültülü olduğuna bölmek
Adam (m, v, t)
momentum (m) artı ağırlık başına bir ses düğmesi (v), ilk adımlar için düzeltilmiş (t)
Senin sıran

Son konumu döndüren rmsprop(grad, start, lr, rho, steps, eps=1e-8) yaz. Gizli test birkaç adımdan sonra konumunu referansla karşılaştırır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.