Müfredat 246 dersinden 71. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

AdamW: doğru yapılmış ağırlık azaltma

Neden önemli Büyük modellerin çoğu Adam ile değil, AdamW ile eğitilir. Fark tek bir satırdır, ve "ağırlık azaltmanın" gerçekte ne yaptığını değiştirir.

Ağırlık azaltma her adımda her ağırlığı biraz sıfıra doğru çeker, bu da büyük ağırlıkları caydırır ve genellikle modelin yeni veride çalışmasına yardım eder.

  • L2'li Adam, Adam'ın ölçeklemesinden önce gradyana wd * p ekler. Adam sonra onu ses düğmesine böler, bu yüzden gradyanları gürültülü ağırlıklar neredeyse hiç azalmaz.
  • AdamW gradyana dokunmaz ve ağırlığı doğrudan azaltır: p_new = p - lr * (adam_direction + wd * p), burada p bu adımdan önceki ağırlıktır. Her ağırlık aynı oranda azalır.

Ayrıştırılmış ağırlık azaltma: ağırlıkları gradyan yerine doğrudan küçültmek. AdamW'deki "W" budur.

Bu dersteki kelimeler ve semboller
Adam (m, v, t)
momentum (m) artı ağırlık başına bir ses düğmesi (v), ilk adımlar için düzeltilmiş (t)
AdamW, ağırlık azaltma
ağırlıkları her adımda biraz doğrudan küçültmek
Senin sıran

adam_l2_step(p, g, state, lr, wd) ve adamw_step(p, g, state, lr, wd) yaz. state, m, v ve t tutan bir sözlüktür (boş bir sözlükle başla). b1 = 0.9, b2 = 0.999, eps = 1e-8 kullan. Her biri yeni p'yi döndürür. AdamW için güncelleme p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p)'dir, p adımdan önceki ağırlıktır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.