Müfredat 246 dersinden 66. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Gürültülü adımlar (SGD ve mini batch'ler)

Neden önemli Gerçek veri kümelerinde milyonlarca örnek vardır. Her adımda hepsinin üzerinde tam gradyanı hesaplamak çok yavaştır, bu yüzden onu küçük bir batch'ten tahmin ederiz.

Bir mini batch gradyanı, 512'nin hepsi yerine diyelim 32 rastgele örnek kullanır. Biraz gürültüyle kabaca yokuş aşağıyı gösterir. Bir tam adım fiyatına 16 ucuz gürültülü adım alırsın, ve pratikte bu rahatça kazanır.

Gürültü ne yapar

Kayıp eğrisi düzgün yerine tırtıklı olur, ve dibe yakın asla tamamen oturmaz: minimumun etrafında titreşir. Eğitimin sonlarında öğrenme oranını düşürmek titreşimi sakinleştirir. Büyük ağlarda biraz gürültü hatta yararlıdır, yürüyüşü kötü noktalardan sarsıp çıkarır.

SGD: stokastik gradyan inişi, gradyanın mini batch tahminleriyle gradyan inişi.

Özet Çok sayıda ucuz gürültülü adım, az sayıda tam adımı geçer.

Bu dersteki kelimeler ve semboller
SGD
küçük rastgele batch'ler kullanan gradyan inişi
mini batch
bir adım için kullanılan verinin küçük rastgele bir dilimi
Senin sıran

Doğrusal regresyon için (kayıp: ortalama kare hata), her epokta karıştıran ve (w, losses) döndüren sgd(X, y, lr, batch, epochs, seed) yaz; burada losses her epoktan sonraki tüm veri kaybıdır. Batch 32, lr 0.05 ve 10 epokla 0.02'nin altında bitmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.