AdamW: doğru yapılmış ağırlık azaltma
Neden önemli Büyük modellerin çoğu Adam ile değil, AdamW ile eğitilir. Fark tek bir satırdır, ve "ağırlık azaltmanın" gerçekte ne yaptığını değiştirir.
Ağırlık azaltma her adımda her ağırlığı biraz sıfıra doğru çeker, bu da büyük ağırlıkları caydırır ve genellikle modelin yeni veride çalışmasına yardım eder.
- L2'li Adam, Adam'ın ölçeklemesinden önce gradyana
wd * pekler. Adam sonra onu ses düğmesine böler, bu yüzden gradyanları gürültülü ağırlıklar neredeyse hiç azalmaz. - AdamW gradyana dokunmaz ve ağırlığı doğrudan azaltır:
p_new = p - lr * (adam_direction + wd * p), buradapbu adımdan önceki ağırlıktır. Her ağırlık aynı oranda azalır.
Ayrıştırılmış ağırlık azaltma: ağırlıkları gradyan yerine doğrudan küçültmek. AdamW'deki "W" budur.
Bu dersteki kelimeler ve semboller
- Adam (m, v, t)
- momentum (m) artı ağırlık başına bir ses düğmesi (v), ilk adımlar için düzeltilmiş (t)
- AdamW, ağırlık azaltma
- ağırlıkları her adımda biraz doğrudan küçültmek
adam_l2_step(p, g, state, lr, wd) ve adamw_step(p, g, state, lr, wd) yaz. state, m, v ve t tutan bir sözlüktür (boş bir sözlükle başla). b1 = 0.9, b2 = 0.999, eps = 1e-8 kullan. Her biri yeni p'yi döndürür. AdamW için güncelleme p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p)'dir, p adımdan önceki ağırlıktır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.