Daha iyi bir ortalama, aynı beceri
Neden önemli "Modelimizin kaybı daha düşük" dil modellemesindeki en yaygın iddiadır. Kayıp her tahmin üzerinden bir ortalamadır, ve bir ortalama, önemsediğin kısım hiç iyileşmeden iyileşebilir.
Kurs aynı şekilde eğitilmiş iki GPT kaydetti, 32 ve 64 genişlikli. Geniş olanın ayrılmış veri kaybı daha düşük. Ama tahminlerin hepsi aynı değil: başladığın bir kelimeyi bitirmek ("gradi" sonra "e") kolaydır; sonraki kelimenin ilk harfini seçmek ne söyleyeceğini seçmektir, ve zordur.
judge.per_position(model, X, Y) her tahminin kaybını verir. Onu bütün konumlar, kelimelerin ilk harfleri ve her kelimenin geri kalanı üzerinden ortala.
Önce tahmin et: geniş model sonraki kelimeyi seçmekte daha iyi oluyor mu?
Bu dersteki kelimeler ve semboller
- tohum
- bir çalıştırmanın rastgele seçimlerini sabitleyen sayı; başka bir tohum başka bir sonuç verir
my_guess değerini "yes" ya da "no" olarak ayarla. 32 ve 64 genişlikleri için loss[width]'i 'all', 'first letter' ve 'inside word' içeren bir sözlükle doldur. gain_from'u geniş modelin kazancının geldiği konum türüne ("first letter" ya da "inside word") ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.