Müfredat 246 dersinden 94. · Modül 8: Çalıştırma Kliniği I
Modül 8: Çalıştırma Kliniği I

Tarif: her şeyden önce iki kontrol

Neden önemli Çoğu bozuk çalıştırma, bir saat eğitime harcamadan önce iki ucuz kontrolle bir dakikada yakalanabilir.

Deneyimli uygulayıcılar her yeni kuruluma aynı şekilde başlar:

  1. Başlangıçtaki kaybı kontrol et. Eğitimden önce hiçbir şey bilmeyen 10 sınıflı bir model her sınıfa yaklaşık 0.1 verir, bu yüzden kaybı yaklaşık -ln(0.1) = 2.30 olmalı. Bunun çok üstü bir şeyin yanlış ölçeklendiği anlamına gelir. Çok altı, cevabın modele girdileri aracılığıyla ulaştığı anlamına gelir. Her sızıntı burada görünmez: doğrulama resimleri eğitim kümesinde de olduğunda başlangıç kaybı normaldir (bu kliniğin sağlıklı çalıştırması ve sızıntı durumu ikisi de 2.46'da başlar), ve yalnızca fazla iyi bir doğrulama puanı onu ele verir.
  2. Bir batch'e aşırı uyum sağla. Tek bir küçük batch üzerinde birkaç yüz adım eğit. Çalışan her model ve eğitim döngüsü 32 örneği ezberleyip kaybı sıfıra yakın indirebilir. İndiremiyorsa hata modelde, kayıpta ya da gradyanlardadır, ve onu tam veriye dokunmadan buldun.
  3. Ancak ondan sonra tam çalıştırmaya büyüt.

Bu klinik, bilerek bozabileceğin küçük bir rakam sınıflandırıcısı. config(**changes) bir kurulum yapar; train(c) onu çalıştırır.

YoklamaSana ne söyler
loss_curve(c)Her 50 adımda eğitim kaybı ve son doğrulama doğruluğu. Her zaman önce buna bak.
loss_at_init(c)Eğitimden önceki kayıp. Yeni bir 10 sınıflı model ln(10) = 2.30 civarında olmalı.
overfit_one_batch(c)32 örneği ezberleyebiliyor mu? Sağlıklı bir kurulum 0 civarına iner.
grad_norms(c)Başlangıçta ağırlık matrisi başına gradyan boyutu. Sıfır, hiçbir şeyin öğrenemeyeceği demektir.
update_ratio(c)Ağırlık boyutuna göre düz SGD adım boyu. Sağlıklısı yaklaşık 0.001 ile 0.1 arasıdır (düz SGD için bir pratik kural; Modül 14 Adam'ın neden farklı olduğunu gösteriyor).
act_stats(c)Gizli aktivasyonlar: ortalama, en büyük değer, ölü birimlerin payı.
lr_schedule(c)0, 50, 100 ve devamı adımlardaki öğrenme oranı.
batch_labels(c)İlk birkaç batch'teki etiketler.
overlap(c)Kaç doğrulama örneğinin eğitimde de göründüğü.
Bu dersteki kelimeler ve semboller
yoklama
gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
bir batch'e aşırı uyum
bir kurulumun birkaç örneği ezberleyebildiğini kontrol etmek
Senin sıran

Yoklamaları kullanarak init_ok (başlangıçtaki kayıp 2.30'a 0.3 yakınlıkta) ve can_overfit (bir batch'e aşırı uyum kaybı 0.1'in altında) içeren bir sözlük döndüren sanity(c) yaz. Onu sağlıklı kuruluma ve suspect'e uygula.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.