Müfredat 246 dersinden 232. · Modül 22: İddiaları yargılamak
Modül 22: İddiaları yargılamak

Tek tohum bir anekdottur

Neden önemli Aynı modeli farklı rastgele tohumlarla iki kez eğitmek farklı sonuçlar verir. İki model arasında o yayılımdan küçük bir fark bir sonuç değildir, ve tek bir çalıştırma yayılımın ne kadar büyük olduğunu sana söyleyemez.

Bir iddia: "8.000 token'da genişlik 1024 genişlik 512'yi yeniyor", her biri tek çalıştırmayla destekleniyor (tohum 0: 2.799'a karşı 2.793). Kurs her birinin 3 tohumunu kaydetti.

Her biri birkaç tohumlu "A, B'yi yener" için basit bir kural: ortalamaların farkını al, ve onun standart hatasını (tohumları yeniden çalıştırsan o farkın ne kadar oynayacağı), örneklem varyansıyla (ddof=1) sqrt(var(A) / nA + var(B) / nB). Fark 2 standart hatadan fazlaysa gösterildi de. judge.standard_error(a, b) bunu hesaplar.

Önce tahmin et: üç tohumla, genişlik 1024 8.000 token'da hâlâ 512'yi yeniyor mu?

Bu dersteki kelimeler ve semboller
tohum
bir çalıştırmanın rastgele seçimlerini sabitleyen sayı; başka bir tohum başka bir sonuç verir
standart hata
tohumlar yeniden çalıştırılsa ölçülen bir farkın ne kadar oynayacağı
Senin sıran

my_guess değerini "yes" ya da "no" olarak ayarla. 8.000 ve 1.500.000 token için diff[tokens]'ı (genişlik 512'nin ortalama kaybı eksi genişlik 1024'ün ortalama kaybı: pozitif 1024'ün daha iyi olduğu anlamına gelir) ve two_se[tokens]'i doldur. verdict[tokens]'ı "shown" ya da "not shown" olarak ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.