Klinik: veri hataları
Neden önemli "Hata her zaman modeldedir" yanlıştır. Veri hataları yaygındır ve iyi saklanırlar, çünkü eğitim döngüsünün kendisi sorunsuzdur.
Sızıntı: doğrulama kümesi eğitim örnekleri içerir, bu yüzden doğrulama doğruluğu harika görünür ve hiçbir anlam taşımaz. Karıştırmamak: batch'ler birer sınıf halinde gelir, model en son gördüğü sınıfı kovalar, ve karışık verideki doğruluk zayıftır. Yanlış etiketler: birçok eğitim etiketi rastgeledir, bu yüzden model bir batch'i ezberleyebilse bile eğitim kaybı fazla düşemez.
Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: leak, no_shuffle, noisy_labels. Daha az yoklama daha iyidir; iyi bir teşhisçi durum başına nadiren ikiden fazlasına ihtiyaç duyar.
| Yoklama | Sana ne söyler |
|---|---|
loss_curve(c) | Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak. |
loss_at_init(c) | Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı. |
overfit_one_batch(c) | 32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner. |
grad_norms(c) | Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir. |
update_ratio(c) | Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor). |
act_stats(c) | Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı. |
lr_schedule(c) | 0, 50, 100 ve devamı adımlardaki öğrenme oranı. |
batch_labels(c) | İlk birkaç batch'teki etiketler. |
overlap(c) | Kaç doğrulama örneğinin eğitimde de göründüğü. |
Bu dersteki kelimeler ve semboller
- yoklama
- gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
- sızıntı
- test ya da doğrulama bilgisinin eğitime ulaşması
A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Bir düzeltme hatayı gidermeli ve en az %90 doğrulama doğruluğuna eğitmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.