Silabus Pelajaran 233 dari 246 · Modul 22: Menilai klaim
Modul 22: Menilai klaim

Satu aturan di balik setiap pengecekan "apakah ini nyata

Kenapa ini penting Kursus ini telah menilai perbedaan dalam setidaknya empat cara: interval berpasangan (Module 9), "0.1 lebih tinggi dan lebih tinggi pada setiap seed" (Modules 16 dan 17), dan 2 standard errors (modul ini). Semuanya adalah ide yang sama, dan mengetahuinya memungkinkan kamu memilih yang tepat, dan tahu kapan salah satunya terlalu longgar.

Setiap aturan membandingkan difference dengan noise. Dua pilihan mengubah jawabannya:

  • Berpasangan atau tidak. Saat kedua model dinilai pada item yang sama (gambar tes Modul 9), kurangi item demi item terlebih dahulu: tingkat kesulitan setiap item akan saling meniadakan, noise mengecil, dan perbedaan nyata yang kecil akan terlihat. Untuk dua classifier pada item yang sama, hitungan terbersih hanyalah item di mana mereka tidak setuju (McNemar's test). Seeds dari jalannya program yang terpisah tidak berpasangan: bandingkan kedua kelompok sebagai satu kesatuan.
  • Seberapa ketat batas potongnya. 2 standard error mengasumsikan kamu tahu tingkat derau. Dengan 3 seed per sisi kamu mengestimasinya dari 3 angka masing-masing, dan estimasi itu bisa saja terlalu kecil. Student's t memperhitungkannya: batas potong menjadi stats.t.ppf(0.975, df) standard error, di mana df (degrees of freedom) berasal dari rumus Welch, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) dengan va = var(a) / na. Dengan 3 seed per sisi df adalah 2 sampai 4, dan batas potong 2.8 sampai 4.3, bukan 2.

Prediksi dulu: pada grid yang dicatat, apakah cutoff yang lebih ketat pernah membatalkan "shown" dari aturan 2 standard error?

Kata dan simbol di pelajaran ini
seed
angka yang menetapkan pilihan acak sebuah run; seed lain memberikan hasil lain
kesalahan standar
seberapa besar perbedaan yang terukur akan berubah jika seed dijalankan ulang
Giliranku

Atur my_guess ke "yes" atau "no". Tulis welch(a, b) yang mengembalikan (diff, se, df) untuk dua daftar kerugian seed (diff = mean(a) - mean(b): positif jika b, model yang lebih besar, lebih baik). Lalu, untuk setiap kasus di CASES, isi result[case] dengan dict: 'ratio' (diff / se), 'cutoff' (cutoff t), 'two_se' dan 't' ("shown" atau "not shown" oleh setiap aturan). Atur disagree ke daftar kasus di mana kedua aturan berbeda.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.