Müfredat 246 dersinden 159. · Modül 14: Çalıştırma Kliniği II
Modül 14: Çalıştırma Kliniği II

Tarif, dizi modelleri için

Neden önemli Modül 8'in iki kontrolü (başlangıçtaki kayıp, bir batch'i ezberlemek) hâlâ geçerli. Dizi modelleri sessizce başarısız olmanın yeni yollarını ekler, ve iki ucuz kontrol daha hiç hesaplama harcamadan en kötülerini yakalar.

Kliniğin modeli minicik bir GPT: genişlik 16, 2 blok, 2 kafa, 16 karakterlik bağlam, kurs metni üzerinde 200 Adam adımı. Birkaç saniyede eğitilir, bu yüzden yoklamayı göze alabilirsin.

Kontrol 1: başlangıç kaybı

Küçük ağırlıklı yeni bir model tahminlerini V karakter üzerine eşit yayar, bu yüzden kaybı ln(V)'dir. 95 karakter için bu 4.55'tir. Bunun çok üstü bir şeyin yanlış ölçeklendiği, çok altı modelin alamaması gereken bir yardım aldığı anlamına gelir.

Kontrol 2: gözetleme yok

Bir girdinin son karakterini değiştir. Önceki bir konum için herhangi bir tahmin değişirse, model geleceği görebiliyordur (Modül 13), ve aldığın her eğitim sayısı gerçek olamayacak kadar iyidir.

YoklamaSana ne söylerSağlıklı çalıştırma
loss_curve(c)Her 25 adımda eğitim kaybı, ve sonunda görülmemiş metindeki kayıp. Her zaman önce buna bak.4.55'ten yaklaşık 2.9'a; görülmemiş yaklaşık 3.0
loss_at_init(c)Eğitimden önceki kayıp. 95 karakter üzerinde eşit tahmin yapan yeni bir model ln(95) verir.4.55
leak_check(c)Sonraki bir karakter önceki bir tahmini değiştirebilir mi?False
show_batch(c)Bir eğitim girdisi ve hedefi, metin olarak.hedef = bir karakter sola kaydırılmış girdi
update_ratio(c)İlk Adam adımından sonra ağırlıkların boyutlarına göre ne kadar hareket ettiği. Modül 8'in kuralı değil: o 0.001 ile 0.1 aralığı düz SGD adımları içindir. Adam'ın ilk adımı her ağırlığı gradyanı ne olursa olsun yaklaşık öğrenme oranı kadar hareket ettirir, ve bu ağırlıklar 0.02 civarında başlar, yani 0.01 / 0.02 yaklaşık 0.5 verir. Bir durumu Modül 8'in aralığıyla değil, bu sağlıklı çalıştırmayla karşılaştır.yaklaşık 0.5
block_change(c)İlk bloğun başlangıçta her vektörü ne kadar değiştirdiği.yaklaşık 0.3
Bu dersteki kelimeler ve semboller
ln(V)
V sembol üzerinde eşit tahmin yapan bir modelin başlangıç kaybı: 95 karakter için 4.55
gerçek olamayacak kadar iyi
sağlıklı bir çalıştırmadan çok daha iyi eğitim kaybı, çok daha kötü görülmemiş metin kaybı
blok değişimi
bir bloğun başlangıçta bir vektörü ne kadar değiştirdiği; 1'e yakın onun yerini aldığı demektir
Senin sıran

Kliniğin kendi _init, _logits ve DATA'sını kullanarak expected_start(V) ve my_leak_check(c) yaz. Kliniğin yoklamalarıyla uyuşmalılar.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.