Müfredat 246 dersinden 99. · Modül 8: Çalıştırma Kliniği I
Modül 8: Çalıştırma Kliniği I

Klinik: başlangıç ve ölçek hataları

Neden önemli Modül 6'nın hataları doğal ortamında: öğrenmeyi daha başlamadan durdururlar.

Ölü birimler: her gizli birim her girdi için kapalıdır, bu yüzden ilk katmana hiçbir gradyan ulaşmaz ve kayıp 2.30'dan hiç ayrılmaz. Ölçeklenmemiş girdiler: pikseller 0 ile 1 yerine 0 ile 16 olarak gelir, aktivasyonlar devasadır, başlangıç kaybı 2.30'un çok üstündedir, ve ilk adımlar şiddetlidir. (Modül 6'daki BatchNorm eğitim/değerlendirme tuzağı da buraya aittir; onunla zaten karşılaştın.)

Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: dead_units, unscaled_inputs, plus one fault from earlier (yani önceki derslerden bir hata daha). Daha az yoklama daha iyidir; iyi bir teşhisçi durum başına nadiren ikiden fazlasına ihtiyaç duyar.

YoklamaSana ne söyler
loss_curve(c)Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak.
loss_at_init(c)Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı.
overfit_one_batch(c)32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner.
grad_norms(c)Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir.
update_ratio(c)Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor).
act_stats(c)Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı.
lr_schedule(c)0, 50, 100 ve devamı adımlardaki öğrenme oranı.
batch_labels(c)İlk birkaç batch'teki etiketler.
overlap(c)Kaç doğrulama örneğinin eğitimde de göründüğü.
Bu dersteki kelimeler ve semboller
yoklama
gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
Senin sıran

A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Bir düzeltme hatayı gidermeli ve en az %90 doğrulama doğruluğuna eğitmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.