Müfredat 246 dersinden 233. · Modül 22: İddiaları yargılamak
Modül 22: İddiaları yargılamak

Her "gerçek mi" kontrolünün arkasındaki tek kural

Neden önemli Bu kurs farkları en az dört şekilde yargıladı: eşleştirilmiş bir aralık (Modül 9), "0.1 daha yüksek ve her tohumda daha yüksek" (Modül 16 ve 17), ve 2 standart hata (bu modül). Hepsi aynı fikir, ve bunu bilmek doğru olanı seçmeni, ve birinin ne zaman fazla cömert olduğunu bilmeni sağlar.

Her kural bir farkı onun gürültüsüyle karşılaştırır. İki seçim cevabı değiştirir:

  • Eşleştirilmiş ya da değil. İki model aynı öğelerde puanlandığında (Modül 9'un test görüntüleri), önce öğe öğe çıkar: her öğenin ne kadar zor olduğu birbirini götürür, gürültü küçülür, ve küçük gerçek farklar görünür. Aynı öğelerdeki iki sınıflandırıcı için en temiz sayım yalnızca anlaşamadıkları öğelerdir (McNemar testi). Ayrı çalıştırmaların tohumları eşleştirilmiş değildir: iki grubu bütün olarak karşılaştır.
  • Eşiğin ne kadar katı olduğu. 2 standart hata gürültüyü bildiğini varsayar. Taraf başına 3 tohumla onu her biri 3 sayıdan tahmin ettin, ve bu tahmin kolayca fazla küçük olabilir. Student t bunu hesaba katar: eşik stats.t.ppf(0.975, df) standart hata olur; burada df (serbestlik derecesi) Welch formülünden gelir, va = var(a) / na ile df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)). Taraf başına 3 tohumla df 2 ile 4 arası, ve eşik 2 değil 2.8 ile 4.3 arası.

Önce tahmin et: kaydedilmiş ızgarada, katı eşik 2 standart hata kuralından bir "gösterildi"yi hiç devirir mi?

Bu dersteki kelimeler ve semboller
tohum
bir çalıştırmanın rastgele seçimlerini sabitleyen sayı; başka bir tohum başka bir sonuç verir
standart hata
tohumlar yeniden çalıştırılsa ölçülen bir farkın ne kadar oynayacağı
Senin sıran

my_guess değerini "yes" ya da "no" olarak ayarla. İki tohum kaybı listesi için (diff, se, df) döndüren welch(a, b) yaz (diff = mean(a) - mean(b): b, yani büyük model daha iyiyse pozitif). Sonra CASES'teki her durum için result[case]'i bir sözlükle doldur: 'ratio' (diff / se), 'cutoff' (t eşiği), 'two_se' ve 't' (her kurala göre "shown" ya da "not shown"). disagree'yi iki kuralın farklı olduğu durumların listesine ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.