Tarif: her şeyden önce iki kontrol
Neden önemli Çoğu bozuk çalıştırma, bir saat eğitime harcamadan önce iki ucuz kontrolle bir dakikada yakalanabilir.
Deneyimli uygulayıcılar her yeni kuruluma aynı şekilde başlar:
- Başlangıçtaki kaybı kontrol et. Eğitimden önce hiçbir şey bilmeyen 10 sınıflı bir model her sınıfa yaklaşık 0.1 verir, bu yüzden kaybı yaklaşık -ln(0.1) = 2.30 olmalı. Bunun çok üstü bir şeyin yanlış ölçeklendiği anlamına gelir. Çok altı, cevabın modele girdileri aracılığıyla ulaştığı anlamına gelir. Her sızıntı burada görünmez: doğrulama resimleri eğitim kümesinde de olduğunda başlangıç kaybı normaldir (bu kliniğin sağlıklı çalıştırması ve sızıntı durumu ikisi de 2.46'da başlar), ve yalnızca fazla iyi bir doğrulama puanı onu ele verir.
- Bir batch'e aşırı uyum sağla. Tek bir küçük batch üzerinde birkaç yüz adım eğit. Çalışan her model ve eğitim döngüsü 32 örneği ezberleyip kaybı sıfıra yakın indirebilir. İndiremiyorsa hata modelde, kayıpta ya da gradyanlardadır, ve onu tam veriye dokunmadan buldun.
- Ancak ondan sonra tam çalıştırmaya büyüt.
Bu klinik, bilerek bozabileceğin küçük bir rakam sınıflandırıcısı. config(**changes) bir kurulum yapar; train(c) onu çalıştırır.
| Yoklama | Sana ne söyler |
|---|---|
loss_curve(c) | Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak. |
loss_at_init(c) | Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı. |
overfit_one_batch(c) | 32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner. |
grad_norms(c) | Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir. |
update_ratio(c) | Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor). |
act_stats(c) | Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı. |
lr_schedule(c) | 0, 50, 100 ve devamı adımlardaki öğrenme oranı. |
batch_labels(c) | İlk birkaç batch'teki etiketler. |
overlap(c) | Kaç doğrulama örneğinin eğitimde de göründüğü. |
Bu dersteki kelimeler ve semboller
- yoklama
- gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
- bir batch'e aşırı uyum
- bir kurulumun birkaç örneği ezberleyebildiğini kontrol etmek
Yoklamaları kullanarak init_ok (başlangıçtaki kayıp 2.30'a 0.3 yakınlıkta) ve can_overfit (bir batch'e aşırı uyum kaybı 0.1'in altında) içeren bir sözlük döndüren sanity(c) yaz. Onu sağlıklı kuruluma ve suspect'e uygula.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.