Batch boyutu ve öğrenme oranı birlikte
Neden önemli Batch boyutu ve öğrenme oranı ayrı düğmeler değildir. Birini değiştir, diğerinin en iyi değeri kayar.
Daha büyük bir batch daha az gürültülü bir gradyan verir, bu yüzden güvenle daha büyük bir adım atabilir. Birçok kişinin başladığı kaba bir kural: batch boyutunu iki katına çıkarırsan, adım kararsızlaşana kadar öğrenme oranını da kabaca iki katına çıkarabilirsin.
Sonuçlar tohumdan tohuma da oynar, bu yüzden ayarları asla tek bir çalıştırmayla değil, birkaç tohum üzerinden karşılaştır.
Bir tuzak daha: buradaki etiketler 0.1 yayılımlı gürültü taşıyor, bu yüzden hiçbir ayar kaybı yaklaşık 0.1 kare = 0.01'in altına itemez. O tabana yakın birkaç çift berabere kalır (örneğin 0.0113'e karşı 0.0114). Tohumdan tohuma oynamadan daha az farkla bir "kazanan" kazanan değildir, bu yüzden çalıştırma ayrıca en iyinin %5 yakınındaki her çifti listeler.
Özet Onları birlikte ayarla, ve tohumlar üzerinden ortalama al.
Bu dersteki kelimeler ve semboller
- SGD
- küçük rastgele batch'ler kullanan gradyan inişi
Önce tahmin et: my_pick içine ızgaradan 2 epoktan sonra en düşük kayıpla biteceğini düşündüğün (batch, lr) çiftini yaz. Sonra (batch, lr)'den tohumlar üzerindeki ortalama son kayba bir sözlük döndüren sweep(X, y, batches, lrs, seeds) (verilen sgd'yi kullan) ve en iyi çifti döndüren best(results) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.