Silabus Pelajaran 109 dari 246 · Modul 9: Apakah benar-benar lebih baik?
Modul 9: Apakah benar-benar lebih baik?

Membandingkan dua model secara adil

Kenapa ini penting Kembali ke pelajaran 1. Ini adalah cara yang benar untuk memutuskan.

Kedua model menjawab sama 100 item. Jadi jangan beri error bars pada setiap skor secara terpisah; beri satu pada perbedaan, dengan mengambil sampel ulang item sebagai pasangan. Setiap pengambilan sampel memilih 100 item dengan replacement dan menghitung akurasi B dikurangi A pada item yang sama. Jika interval 95% dari perbedaan itu mencakup 0, data tidak bisa membedakan model tersebut.

Paired comparison: membandingkan dua model item demi item pada set tes yang sama, yang menghilangkan pengaruh tingkat kesulitan setiap item.

Jujur saja, bagaimana 100 gambar di pelajaran 1 dipilih: pembacanya disimulasikan, dan kursus ini memilih satu undian 100 gambar di mana A kebetulan memimpin B dengan selisih 4 poin. Dari lebih dari 2.000 undian acak 100 gambar, A memimpin dengan 4 poin atau lebih hanya 8% dari waktunya; B unggul di setengahnya, dan 14% adalah seri. Ini adalah jenis keberuntungan nyata, dipilih untuk memberi penekanan: satu set pengujian 100 gambar bisa menunjukkan arah yang salah.

Kata dan simbol di pelajaran ini
bootstrap
resampling set pengujian kamu dengan pengulangan untuk melihat seberapa besar skornya berubah
95% interval
95% bagian tengah dari skor yang diambil sampel ulang
perbandingan berpasangan
membandingkan dua model pada item yang sama, item demi item
Giliranku

Tulis paired_diff_ci(a, b, n=2000, seed=0) (interval B dikurangi A, indeks item resampling seperti di pelajaran bootstrap) dan verdict(a, b) yang mengembalikan "A", "B" atau "no clear difference". Jalankan pada model pelajaran 1.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.