Membandingkan dua model secara adil
Kenapa ini penting Kembali ke pelajaran 1. Ini adalah cara yang benar untuk memutuskan.
Kedua model menjawab sama 100 item. Jadi jangan beri error bars pada setiap skor secara terpisah; beri satu pada perbedaan, dengan mengambil sampel ulang item sebagai pasangan. Setiap pengambilan sampel memilih 100 item dengan replacement dan menghitung akurasi B dikurangi A pada item yang sama. Jika interval 95% dari perbedaan itu mencakup 0, data tidak bisa membedakan model tersebut.
Paired comparison: membandingkan dua model item demi item pada set tes yang sama, yang menghilangkan pengaruh tingkat kesulitan setiap item.
Jujur saja, bagaimana 100 gambar di pelajaran 1 dipilih: pembacanya disimulasikan, dan kursus ini memilih satu undian 100 gambar di mana A kebetulan memimpin B dengan selisih 4 poin. Dari lebih dari 2.000 undian acak 100 gambar, A memimpin dengan 4 poin atau lebih hanya 8% dari waktunya; B unggul di setengahnya, dan 14% adalah seri. Ini adalah jenis keberuntungan nyata, dipilih untuk memberi penekanan: satu set pengujian 100 gambar bisa menunjukkan arah yang salah.
Kata dan simbol di pelajaran ini
- bootstrap
- resampling set pengujian kamu dengan pengulangan untuk melihat seberapa besar skornya berubah
- 95% interval
- 95% bagian tengah dari skor yang diambil sampel ulang
- perbandingan berpasangan
- membandingkan dua model pada item yang sama, item demi item
Tulis paired_diff_ci(a, b, n=2000, seed=0) (interval B dikurangi A, indeks item resampling seperti di pelajaran bootstrap) dan verdict(a, b) yang mengembalikan "A", "B" atau "no clear difference". Jalankan pada model pelajaran 1.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.