Müfredat 246 dersinden 97. · Modül 8: Çalıştırma Kliniği I
Modül 8: Çalıştırma Kliniği I

Klinik: veri hataları

Neden önemli "Hata her zaman modeldedir" yanlıştır. Veri hataları yaygındır ve iyi saklanırlar, çünkü eğitim döngüsünün kendisi sorunsuzdur.

Sızıntı: doğrulama kümesi eğitim örnekleri içerir, bu yüzden doğrulama doğruluğu harika görünür ve hiçbir anlam taşımaz. Karıştırmamak: batch'ler birer sınıf halinde gelir, model en son gördüğü sınıfı kovalar, ve karışık verideki doğruluk zayıftır. Yanlış etiketler: birçok eğitim etiketi rastgeledir, bu yüzden model bir batch'i ezberleyebilse bile eğitim kaybı fazla düşemez.

Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: leak, no_shuffle, noisy_labels. Daha az yoklama daha iyidir; iyi bir teşhisçi durum başına nadiren ikiden fazlasına ihtiyaç duyar.

YoklamaSana ne söyler
loss_curve(c)Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak.
loss_at_init(c)Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı.
overfit_one_batch(c)32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner.
grad_norms(c)Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir.
update_ratio(c)Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor).
act_stats(c)Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı.
lr_schedule(c)0, 50, 100 ve devamı adımlardaki öğrenme oranı.
batch_labels(c)İlk birkaç batch'teki etiketler.
overlap(c)Kaç doğrulama örneğinin eğitimde de göründüğü.
Bu dersteki kelimeler ve semboller
yoklama
gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
sızıntı
test ya da doğrulama bilgisinin eğitime ulaşması
Senin sıran

A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Bir düzeltme hatayı gidermeli ve en az %90 doğrulama doğruluğuna eğitmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.