Gürültülü adımlar (SGD ve mini batch'ler)
Neden önemli Gerçek veri kümelerinde milyonlarca örnek vardır. Her adımda hepsinin üzerinde tam gradyanı hesaplamak çok yavaştır, bu yüzden onu küçük bir batch'ten tahmin ederiz.
Bir mini batch gradyanı, 512'nin hepsi yerine diyelim 32 rastgele örnek kullanır. Biraz gürültüyle kabaca yokuş aşağıyı gösterir. Bir tam adım fiyatına 16 ucuz gürültülü adım alırsın, ve pratikte bu rahatça kazanır.
Gürültü ne yapar
Kayıp eğrisi düzgün yerine tırtıklı olur, ve dibe yakın asla tamamen oturmaz: minimumun etrafında titreşir. Eğitimin sonlarında öğrenme oranını düşürmek titreşimi sakinleştirir. Büyük ağlarda biraz gürültü hatta yararlıdır, yürüyüşü kötü noktalardan sarsıp çıkarır.
SGD: stokastik gradyan inişi, gradyanın mini batch tahminleriyle gradyan inişi.
Özet Çok sayıda ucuz gürültülü adım, az sayıda tam adımı geçer.
Bu dersteki kelimeler ve semboller
- SGD
- küçük rastgele batch'ler kullanan gradyan inişi
- mini batch
- bir adım için kullanılan verinin küçük rastgele bir dilimi
Doğrusal regresyon için (kayıp: ortalama kare hata), her epokta karıştıran ve (w, losses) döndüren sgd(X, y, lr, batch, epochs, seed) yaz; burada losses her epoktan sonraki tüm veri kaybıdır. Batch 32, lr 0.05 ve 10 epokla 0.02'nin altında bitmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.