Klinik: öğrenme oranı hataları
Neden önemli Öğrenme oranı kötü bir çalıştırmanın en yaygın nedenidir. Her yanlış türü farklı bir iz bırakır.
Çok yüksek: adımlar aşar, kayıp zıplar ya da tırmanır, ve güncelleme-ağırlık oranı 1'e yakın ya da üstündedir. Çok düşük: neredeyse hiçbir şey kıpırdamaz, kayıp 2.30 civarında oturur ve oran minicik olur. Çok erken düşürülmüş: çalıştırma bir süre öğrenir, sonra iyileşmeyi bırakır: o andan itibaren kayıp yalnızca batch'ten batch'e vasat bir düzey civarında (burada yaklaşık 1.1 ile 1.5 arası) oynar; zaman planı oranın çöktüğünü gösterir.
Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: lr_too_high, lr_too_low, lr_dropped_early. Daha az yoklama daha iyidir; iyi bir teşhisçi durum başına nadiren ikiden fazlasına ihtiyaç duyar.
| Yoklama | Sana ne söyler |
|---|---|
loss_curve(c) | Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak. |
loss_at_init(c) | Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı. |
overfit_one_batch(c) | 32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner. |
grad_norms(c) | Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir. |
update_ratio(c) | Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor). |
act_stats(c) | Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı. |
lr_schedule(c) | 0, 50, 100 ve devamı adımlardaki öğrenme oranı. |
batch_labels(c) | İlk birkaç batch'teki etiketler. |
overlap(c) | Kaç doğrulama örneğinin eğitimde de göründüğü. |
Bu dersteki kelimeler ve semboller
- yoklama
- gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
- güncelleme-ağırlık oranı
- bir adımın her ağırlığı, boyutuna göre ne kadar değiştirdiği
A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Bir düzeltme hatayı gidermeli ve en az %90 doğrulama doğruluğuna eğitmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.