Müfredat 246 dersinden 161. · Modül 14: Çalıştırma Kliniği II
Modül 14: Çalıştırma Kliniği II

Klinik: adım boyu ve başlangıç ağırlıkları

Neden önemli Modül 8'in öğrenme oranı ve ölçek hataları, üzerlerinde Adam'ın parmak izleriyle geri dönüyor.

Adam ile her ağırlık ilk adımda gradyanı ne olursa olsun yaklaşık öğrenme oranı kadar hareket eder. Yani güncelleme oranı adım boyunun doğrudan bir okumasıdır: sağlıklı çalıştırmada yaklaşık 0.5 (0.02 civarı ağırlıklara karşı 0.01), oran çok fazla yüksekken yaklaşık 15 (kayıp o zaman sarsılır), ve çok fazla düşükken yaklaşık 0.0005 (kayıp 4.55'ten zar zor ayrılır). Çok fazla büyük başlangıç ağırlıkları ilk tahminleri çılgınca kendinden emin ve yanlış yapar: başlangıç kaybı 4.55'in çok üstündedir.

Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra çalıştırmayı sağlıklı hale geri getiren bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: lr_too_high, lr_too_low, init_too_big. İyi bir teşhisçi durum başına nadiren ikiden fazla yoklamaya ihtiyaç duyar.

YoklamaSana ne söylerSağlıklı çalıştırma
loss_curve(c)Her 25 adımda eğitim kaybı, ve sonunda görülmemiş metindeki kayıp. Her zaman önce buna bak.4.55'ten yaklaşık 2.9'a; görülmemiş yaklaşık 3.0
loss_at_init(c)Eğitimden önceki kayıp. 95 karakter üzerinde eşit tahmin yapan yeni bir model ln(95) verir.4.55
leak_check(c)Sonraki bir karakter önceki bir tahmini değiştirebilir mi?False
show_batch(c)Bir eğitim girdisi ve hedefi, metin olarak.hedef = bir karakter sola kaydırılmış girdi
update_ratio(c)İlk Adam adımından sonra ağırlıkların boyutlarına göre ne kadar hareket ettiği. Modül 8'in kuralı değil: o 0.001 ile 0.1 aralığı düz SGD adımları içindir. Adam'ın ilk adımı her ağırlığı gradyanı ne olursa olsun yaklaşık öğrenme oranı kadar hareket ettirir, ve bu ağırlıklar 0.02 civarında başlar, yani 0.01 / 0.02 yaklaşık 0.5 verir. Bir durumu Modül 8'in aralığıyla değil, bu sağlıklı çalıştırmayla karşılaştır.yaklaşık 0.5
block_change(c)İlk bloğun başlangıçta her vektörü ne kadar değiştirdiği.yaklaşık 0.3
Bu dersteki kelimeler ve semboller
ln(V)
V sembol üzerinde eşit tahmin yapan bir modelin başlangıç kaybı: 95 karakter için 4.55
blok değişimi
bir bloğun başlangıçta bir vektörü ne kadar değiştirdiği; 1'e yakın onun yerini aldığı demektir
Senin sıran

A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Düzeltmenden sonra her ayar sağlıklı çalıştırmayla eşleşmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.