Müfredat 246 dersinden 67. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Batch boyutu ve öğrenme oranı birlikte

Neden önemli Batch boyutu ve öğrenme oranı ayrı düğmeler değildir. Birini değiştir, diğerinin en iyi değeri kayar.

Daha büyük bir batch daha az gürültülü bir gradyan verir, bu yüzden güvenle daha büyük bir adım atabilir. Birçok kişinin başladığı kaba bir kural: batch boyutunu iki katına çıkarırsan, adım kararsızlaşana kadar öğrenme oranını da kabaca iki katına çıkarabilirsin.

Sonuçlar tohumdan tohuma da oynar, bu yüzden ayarları asla tek bir çalıştırmayla değil, birkaç tohum üzerinden karşılaştır.

Bir tuzak daha: buradaki etiketler 0.1 yayılımlı gürültü taşıyor, bu yüzden hiçbir ayar kaybı yaklaşık 0.1 kare = 0.01'in altına itemez. O tabana yakın birkaç çift berabere kalır (örneğin 0.0113'e karşı 0.0114). Tohumdan tohuma oynamadan daha az farkla bir "kazanan" kazanan değildir, bu yüzden çalıştırma ayrıca en iyinin %5 yakınındaki her çifti listeler.

Özet Onları birlikte ayarla, ve tohumlar üzerinden ortalama al.

Bu dersteki kelimeler ve semboller
SGD
küçük rastgele batch'ler kullanan gradyan inişi
Senin sıran

Önce tahmin et: my_pick içine ızgaradan 2 epoktan sonra en düşük kayıpla biteceğini düşündüğün (batch, lr) çiftini yaz. Sonra (batch, lr)'den tohumlar üzerindeki ortalama son kayba bir sözlük döndüren sweep(X, y, batches, lrs, seeds) (verilen sgd'yi kullan) ve en iyi çifti döndüren best(results) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.