Müfredat 246 dersinden 72. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Isınma ve kosinüs zaman planları

Neden önemli En iyi öğrenme oranı eğitim boyunca aynı değildir. Büyük modeller neredeyse her zaman bir zaman planıyla eğitilir: yumuşak bir başlangıç, uzun yüksek bir orta kısım ve yavaş bir iniş.

Gör

Animasyonu oynat. Isınma: oran ilk birkaç yüz adım boyunca sıfıra yakından zirvesine düz bir çizgiyle tırmanır, çünkü en başta gradyanlar büyük ve güvenilmezdir. Kosinüs azalması: sonra yarım bir kosinüs dalgası boyunca küçük bir tabana kayar, böylece eğitimin sonu küçük dikkatli adımlar atar ve iyi bir noktaya oturur.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Özet Yüksel, seyret, süzülerek in.

Bu dersteki kelimeler ve semboller
ısınma, kosinüs
öğrenme oranını küçük başlat, sonra bir kosinüs boyunca süzülerek indir
Senin sıran

Yukarıdaki formüllere uyan lr_at(step, total, warmup, peak, floor) yaz (adımlar 0'dan sayılır).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.