Satu aturan di balik setiap pengecekan "apakah ini nyata
Kenapa ini penting Kursus ini telah menilai perbedaan dalam setidaknya empat cara: interval berpasangan (Module 9), "0.1 lebih tinggi dan lebih tinggi pada setiap seed" (Modules 16 dan 17), dan 2 standard errors (modul ini). Semuanya adalah ide yang sama, dan mengetahuinya memungkinkan kamu memilih yang tepat, dan tahu kapan salah satunya terlalu longgar.
Setiap aturan membandingkan difference dengan noise. Dua pilihan mengubah jawabannya:
- Berpasangan atau tidak. Saat kedua model dinilai pada item yang sama (gambar tes Modul 9), kurangi item demi item terlebih dahulu: tingkat kesulitan setiap item akan saling meniadakan, noise mengecil, dan perbedaan nyata yang kecil akan terlihat. Untuk dua classifier pada item yang sama, hitungan terbersih hanyalah item di mana mereka tidak setuju (McNemar's test). Seeds dari jalannya program yang terpisah tidak berpasangan: bandingkan kedua kelompok sebagai satu kesatuan.
- Seberapa ketat batas potongnya. 2 standard error mengasumsikan kamu tahu tingkat derau. Dengan 3 seed per sisi kamu mengestimasinya dari 3 angka masing-masing, dan estimasi itu bisa saja terlalu kecil. Student's t memperhitungkannya: batas potong menjadi
stats.t.ppf(0.975, df)standard error, di mana df (degrees of freedom) berasal dari rumus Welch,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))denganva = var(a) / na. Dengan 3 seed per sisi df adalah 2 sampai 4, dan batas potong 2.8 sampai 4.3, bukan 2.
Prediksi dulu: pada grid yang dicatat, apakah cutoff yang lebih ketat pernah membatalkan "shown" dari aturan 2 standard error?
Kata dan simbol di pelajaran ini
- seed
- angka yang menetapkan pilihan acak sebuah run; seed lain memberikan hasil lain
- kesalahan standar
- seberapa besar perbedaan yang terukur akan berubah jika seed dijalankan ulang
Atur my_guess ke "yes" atau "no". Tulis welch(a, b) yang mengembalikan (diff, se, df) untuk dua daftar kerugian seed (diff = mean(a) - mean(b): positif jika b, model yang lebih besar, lebih baik). Lalu, untuk setiap kasus di CASES, isi result[case] dengan dict: 'ratio' (diff / se), 'cutoff' (cutoff t), 'two_se' dan 't' ("shown" atau "not shown" oleh setiap aturan). Atur disagree ke daftar kasus di mana kedua aturan berbeda.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.