Isınma ve kosinüs zaman planları
Neden önemli En iyi öğrenme oranı eğitim boyunca aynı değildir. Büyük modeller neredeyse her zaman bir zaman planıyla eğitilir: yumuşak bir başlangıç, uzun yüksek bir orta kısım ve yavaş bir iniş.
Gör
Animasyonu oynat. Isınma: oran ilk birkaç yüz adım boyunca sıfıra yakından zirvesine düz bir çizgiyle tırmanır, çünkü en başta gradyanlar büyük ve güvenilmezdir. Kosinüs azalması: sonra yarım bir kosinüs dalgası boyunca küçük bir tabana kayar, böylece eğitimin sonu küçük dikkatli adımlar atar ve iyi bir noktaya oturur.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Özet Yüksel, seyret, süzülerek in.
Bu dersteki kelimeler ve semboller
- ısınma, kosinüs
- öğrenme oranını küçük başlat, sonra bir kosinüs boyunca süzülerek indir
Yukarıdaki formüllere uyan lr_at(step, total, warmup, peak, floor) yaz (adımlar 0'dan sayılır).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.