Müfredat 246 dersinden 96. · Modül 8: Çalıştırma Kliniği I
Modül 8: Çalıştırma Kliniği I

Klinik: öğrenme oranı hataları

Neden önemli Öğrenme oranı kötü bir çalıştırmanın en yaygın nedenidir. Her yanlış türü farklı bir iz bırakır.

Çok yüksek: adımlar aşar, kayıp zıplar ya da tırmanır, ve güncelleme-ağırlık oranı 1'e yakın ya da üstündedir. Çok düşük: neredeyse hiçbir şey kıpırdamaz, kayıp 2.30 civarında oturur ve oran minicik olur. Çok erken düşürülmüş: çalıştırma bir süre öğrenir, sonra iyileşmeyi bırakır: o andan itibaren kayıp yalnızca batch'ten batch'e vasat bir düzey civarında (burada yaklaşık 1.1 ile 1.5 arası) oynar; zaman planı oranın çöktüğünü gösterir.

Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: lr_too_high, lr_too_low, lr_dropped_early. Daha az yoklama daha iyidir; iyi bir teşhisçi durum başına nadiren ikiden fazlasına ihtiyaç duyar.

YoklamaSana ne söyler
loss_curve(c)Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak.
loss_at_init(c)Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı.
overfit_one_batch(c)32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner.
grad_norms(c)Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir.
update_ratio(c)Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor).
act_stats(c)Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı.
lr_schedule(c)0, 50, 100 ve devamı adımlardaki öğrenme oranı.
batch_labels(c)İlk birkaç batch'teki etiketler.
overlap(c)Kaç doğrulama örneğinin eğitimde de göründüğü.
Bu dersteki kelimeler ve semboller
yoklama
gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
güncelleme-ağırlık oranı
bir adımın her ağırlığı, boyutuna göre ne kadar değiştirdiği
Senin sıran

A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Bir düzeltme hatayı gidermeli ve en az %90 doğrulama doğruluğuna eğitmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.