Müfredat 246 dersinden 160. · Modül 14: Çalıştırma Kliniği II
Modül 14: Çalıştırma Kliniği II

Klinik: fazla iyi, ya da fazla takılmış

Neden önemli En tehlikeli çalıştırmalar harika görünenlerdir. Cevaplarını görebilen bir model harika bir eğitim kaybı bildirir ve işe yaramazdır.

Maske yok: model bir sonraki karakteri gözetleyebilir, bu yüzden eğitim kaybı sağlıklı bir çalıştırmanınkinden daha fazla düşer, görülmemiş metindeki kaybı ise (dürüstçe, yalnızca önceki karakterlerden ölçülen) çok daha kötüdür. Hedefler kaydırılmamış: hedef girdinin kendisidir, bu yüzden model baktığı karakteri kopyalamayı öğrenir. Eğitim kaybı neredeyse 0'a gider, ve görülmemiş metinde berbattır. Artık yok: her blok h'ye eklemek yerine onun yerini alır, bu yüzden yığını eğitmek zordur ve kayıp erken takılır.

Aşağıdaki her durum içine tek bir hata yerleştirilmiş bir eğitim çalıştırmasıdır. Her biri için: hatayı bulmak için yoklama harca, sonra çalıştırmayı sağlıklı hale geri getiren bir düzeltmeyi config değişiklikleri olarak yaz. Bu dersteki hatalar: no_mask, targets_not_shifted, no_residual. İyi bir teşhisçi durum başına nadiren ikiden fazla yoklamaya ihtiyaç duyar.

YoklamaSana ne söylerSağlıklı çalıştırma
loss_curve(c)Her 25 adımda eğitim kaybı, ve sonunda görülmemiş metindeki kayıp. Her zaman önce buna bak.4.55'ten yaklaşık 2.9'a; görülmemiş yaklaşık 3.0
loss_at_init(c)Eğitimden önceki kayıp. 95 karakter üzerinde eşit tahmin yapan yeni bir model ln(95) verir.4.55
leak_check(c)Sonraki bir karakter önceki bir tahmini değiştirebilir mi?False
show_batch(c)Bir eğitim girdisi ve hedefi, metin olarak.hedef = bir karakter sola kaydırılmış girdi
update_ratio(c)İlk Adam adımından sonra ağırlıkların boyutlarına göre ne kadar hareket ettiği. Modül 8'in kuralı değil: o 0.001 ile 0.1 aralığı düz SGD adımları içindir. Adam'ın ilk adımı her ağırlığı gradyanı ne olursa olsun yaklaşık öğrenme oranı kadar hareket ettirir, ve bu ağırlıklar 0.02 civarında başlar, yani 0.01 / 0.02 yaklaşık 0.5 verir. Bir durumu Modül 8'in aralığıyla değil, bu sağlıklı çalıştırmayla karşılaştır.yaklaşık 0.5
block_change(c)İlk bloğun başlangıçta her vektörü ne kadar değiştirdiği.yaklaşık 0.3
Bu dersteki kelimeler ve semboller
ln(V)
V sembol üzerinde eşit tahmin yapan bir modelin başlangıç kaybı: 95 karakter için 4.55
blok değişimi
bir bloğun başlangıçta bir vektörü ne kadar değiştirdiği; 1'e yakın onun yerini aldığı demektir
Senin sıran

A, B ve C durumları için diagnosis (durumdan hata adına) ve fixes (durumdan config değişikliklerinden oluşan bir sözlüğe) doldur. Düzeltmenden sonra her ayar sağlıklı çalıştırmayla eşleşmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.