Tarif, dizi modelleri için
Neden önemli Modül 8'in iki kontrolü (başlangıçtaki kayıp, bir batch'i ezberlemek) hâlâ geçerli. Dizi modelleri sessizce başarısız olmanın yeni yollarını ekler, ve iki ucuz kontrol daha hiç hesaplama harcamadan en kötülerini yakalar.
Kliniğin modeli minicik bir GPT: genişlik 16, 2 blok, 2 kafa, 16 karakterlik bağlam, kurs metni üzerinde 200 Adam adımı. Birkaç saniyede eğitilir, bu yüzden yoklamayı göze alabilirsin.
Kontrol 1: başlangıç kaybı
Küçük ağırlıklı yeni bir model tahminlerini V karakter üzerine eşit yayar, bu yüzden kaybı ln(V)'dir. 95 karakter için bu 4.55'tir. Bunun çok üstü bir şeyin yanlış ölçeklendiği, çok altı modelin alamaması gereken bir yardım aldığı anlamına gelir.
Kontrol 2: gözetleme yok
Bir girdinin son karakterini değiştir. Önceki bir konum için herhangi bir tahmin değişirse, model geleceği görebiliyordur (Modül 13), ve aldığın her eğitim sayısı gerçek olamayacak kadar iyidir.
| Yoklama | Sana ne söyler | Sağlıklı çalıştırma |
|---|---|---|
loss_curve(c) | Her 25 adımda eğitim kaybı, ve sonunda görülmemiş metindeki kayıp. Her zaman önce buna bak. | 4.55'ten yaklaşık 2.9'a; görülmemiş yaklaşık 3.0 |
loss_at_init(c) | Eğitimden önceki kayıp. 95 karakter üzerinde eşit tahmin yapan yeni bir model ln(95) verir. | 4.55 |
leak_check(c) | Sonraki bir karakter önceki bir tahmini değiştirebilir mi? | False |
show_batch(c) | Bir eğitim girdisi ve hedefi, metin olarak. | hedef = bir karakter sola kaydırılmış girdi |
update_ratio(c) | İlk Adam adımından sonra ağırlıkların boyutlarına göre ne kadar hareket ettiği. Modül 8'in kuralı değil: o 0.001 ile 0.1 aralığı düz SGD adımları içindir. Adam'ın ilk adımı her ağırlığı gradyanı ne olursa olsun yaklaşık öğrenme oranı kadar hareket ettirir, ve bu ağırlıklar 0.02 civarında başlar, yani 0.01 / 0.02 yaklaşık 0.5 verir. Bir durumu Modül 8'in aralığıyla değil, bu sağlıklı çalıştırmayla karşılaştır. | yaklaşık 0.5 |
block_change(c) | İlk bloğun başlangıçta her vektörü ne kadar değiştirdiği. | yaklaşık 0.3 |
Bu dersteki kelimeler ve semboller
- ln(V)
- V sembol üzerinde eşit tahmin yapan bir modelin başlangıç kaybı: 95 karakter için 4.55
- gerçek olamayacak kadar iyi
- sağlıklı bir çalıştırmadan çok daha iyi eğitim kaybı, çok daha kötü görülmemiş metin kaybı
- blok değişimi
- bir bloğun başlangıçta bir vektörü ne kadar değiştirdiği; 1'e yakın onun yerini aldığı demektir
Kliniğin kendi _init, _logits ve DATA'sını kullanarak expected_start(V) ve my_leak_check(c) yaz. Kliniğin yoklamalarıyla uyuşmalılar.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.