Müfredat 246 dersinden 70. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Adam: top artı düğmeler

Neden önemli Adam çoğu derin öğrenme için varsayılan optimizasyoncudur. Momentum ve RMSProp birlikte, artı başlangıçta çok önemli olan küçük bir düzeltme.

Önce küçük sayılar

Tek ağırlık, beta1 = 0.9, beta2 = 0.999, lr = 0.1. 1. adımdaki gradyan 2.0. Gradyanların akan ortalaması m 0'dan başlar: m = 0.9 * 0 + 0.1 * 2 = 0.2. Ama gerçek son gradyan 0.2 değil, 2'dir: m başlangıçtaki sıfıra doğru yanlıdır. Bunu düzeltmek için (1 - 0.9 üssü t)'ye böl: 0.2 / 0.1 = 2.0. Kare ortalama v için aynı düzeltme: 0.004 / 0.001 = 4.0. Adım = 0.1 * 2 / sqrt(4) = 0.1.

Düzeltme olmasaydı ilk adım 0.1 * 0.2 / sqrt(0.004) = 0.32 olurdu, üç kattan fazla büyük, ve gerçek bir ağda bu çılgın ilk adımlar eğitimin başlangıcını mahvedebilir.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Yanlılık düzeltmesi: sıfırdan başlayan ortalamaların ilk adımlarda olduğundan düşük tahmin edilmemesi için (1 - beta üssü t)'ye bölmek. t adımları 1'den sayar.

Bu dersteki kelimeler ve semboller
momentum (beta)
son adımın hızının bir kısmını korumak
RMSProp
her ağırlığın adımını, gradyanının genellikle ne kadar gürültülü olduğuna bölmek
Adam (m, v, t)
momentum (m) artı ağırlık başına bir ses düğmesi (v), ilk adımlar için düzeltilmiş (t)
Senin sıran

Önce first_step_with ve first_step_without değerlerini doldur: yukarıdaki örnekte yanlılık düzeltmesiyle ve onsuz 1. adımın boyu. Sonra güncellenmiş parametre dizisini döndüren bir step(p, g) metoduna sahip Adam(lr, b1=0.9, b2=0.999, eps=1e-8) sınıfını yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.