Adam: top artı düğmeler
Neden önemli Adam çoğu derin öğrenme için varsayılan optimizasyoncudur. Momentum ve RMSProp birlikte, artı başlangıçta çok önemli olan küçük bir düzeltme.
Önce küçük sayılar
Tek ağırlık, beta1 = 0.9, beta2 = 0.999, lr = 0.1. 1. adımdaki gradyan 2.0. Gradyanların akan ortalaması m 0'dan başlar: m = 0.9 * 0 + 0.1 * 2 = 0.2. Ama gerçek son gradyan 0.2 değil, 2'dir: m başlangıçtaki sıfıra doğru yanlıdır. Bunu düzeltmek için (1 - 0.9 üssü t)'ye böl: 0.2 / 0.1 = 2.0. Kare ortalama v için aynı düzeltme: 0.004 / 0.001 = 4.0. Adım = 0.1 * 2 / sqrt(4) = 0.1.
Düzeltme olmasaydı ilk adım 0.1 * 0.2 / sqrt(0.004) = 0.32 olurdu, üç kattan fazla büyük, ve gerçek bir ağda bu çılgın ilk adımlar eğitimin başlangıcını mahvedebilir.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Yanlılık düzeltmesi: sıfırdan başlayan ortalamaların ilk adımlarda olduğundan düşük tahmin edilmemesi için (1 - beta üssü t)'ye bölmek. t adımları 1'den sayar.
Bu dersteki kelimeler ve semboller
- momentum (beta)
- son adımın hızının bir kısmını korumak
- RMSProp
- her ağırlığın adımını, gradyanının genellikle ne kadar gürültülü olduğuna bölmek
- Adam (m, v, t)
- momentum (m) artı ağırlık başına bir ses düğmesi (v), ilk adımlar için düzeltilmiş (t)
Önce first_step_with ve first_step_without değerlerini doldur: yukarıdaki örnekte yanlılık düzeltmesiyle ve onsuz 1. adımın boyu. Sonra güncellenmiş parametre dizisini döndüren bir step(p, g) metoduna sahip Adam(lr, b1=0.9, b2=0.999, eps=1e-8) sınıfını yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.