Klinik: kayıp ve çıktı hataları
Neden önemli Bu hatalar eğitimin çalışmasına ve kaybın düşmesine izin verir, bu yüzden gerçek kodda uzun süre hayatta kalırlar.
İki kez uygulanmış softmax: kayıp olasılıkları puanmış gibi görür, gradyanlar küçülür, model bir batch'i bile ezberleyemez, ve kayıp yavaşça sürünerek düşer. Kaydırılmış hedefler: her etiket bir kaymış, bu yüzden model gayet iyi öğrenir, sadece yanlış cevapları: eğitim kaybı düşük, doğrulama doğruluğu sıfıra yakın.
Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: softmax_twice, shifted_targets, plus one fault from earlier (yani önceki derslerden bir hata daha). Daha az yoklama daha iyidir; iyi bir teşhisçi durum başına nadiren ikiden fazlasına ihtiyaç duyar.
| Yoklama | Sana ne söyler |
|---|---|
loss_curve(c) | Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak. |
loss_at_init(c) | Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı. |
overfit_one_batch(c) | 32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner. |
grad_norms(c) | Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir. |
update_ratio(c) | Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor). |
act_stats(c) | Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı. |
lr_schedule(c) | 0, 50, 100 ve devamı adımlardaki öğrenme oranı. |
batch_labels(c) | İlk birkaç batch'teki etiketler. |
overlap(c) | Kaç doğrulama örneğinin eğitimde de göründüğü. |
Bu dersteki kelimeler ve semboller
- yoklama
- gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Bir düzeltme hatayı gidermeli ve en az %90 doğrulama doğruluğuna eğitmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.