Müfredat 246 dersinden 230. · Modül 22: İddiaları yargılamak
Modül 22: İddiaları yargılamak

Daha iyi bir ortalama, aynı beceri

Neden önemli "Modelimizin kaybı daha düşük" dil modellemesindeki en yaygın iddiadır. Kayıp her tahmin üzerinden bir ortalamadır, ve bir ortalama, önemsediğin kısım hiç iyileşmeden iyileşebilir.

Kurs aynı şekilde eğitilmiş iki GPT kaydetti, 32 ve 64 genişlikli. Geniş olanın ayrılmış veri kaybı daha düşük. Ama tahminlerin hepsi aynı değil: başladığın bir kelimeyi bitirmek ("gradi" sonra "e") kolaydır; sonraki kelimenin ilk harfini seçmek ne söyleyeceğini seçmektir, ve zordur.

judge.per_position(model, X, Y) her tahminin kaybını verir. Onu bütün konumlar, kelimelerin ilk harfleri ve her kelimenin geri kalanı üzerinden ortala.

Önce tahmin et: geniş model sonraki kelimeyi seçmekte daha iyi oluyor mu?

Bu dersteki kelimeler ve semboller
tohum
bir çalıştırmanın rastgele seçimlerini sabitleyen sayı; başka bir tohum başka bir sonuç verir
Senin sıran

my_guess değerini "yes" ya da "no" olarak ayarla. 32 ve 64 genişlikleri için loss[width]'i 'all', 'first letter' ve 'inside word' içeren bir sözlükle doldur. gain_from'u geniş modelin kazancının geldiği konum türüne ("first letter" ya da "inside word") ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.