Silabus Pelajaran 107 dari 246 · Modul 9: Apakah benar-benar lebih baik?
Modul 9: Apakah benar-benar lebih baik?

Apakah yakin 80% berarti benar 80% dari waktu?

Kenapa ini penting Kepercayaan sebuah model hanya berguna jika jujur. Asisten dokter yang bilang "90% yakin" tapi hanya benar setengah waktu itu berbahaya.

Model

A adalah calibrated jika, dari semua prediksi yang dibuat dengan kepercayaan sekitar 80%, sekitar 80% di antaranya benar. Untuk mengeceknya: urutkan prediksi ke dalam bin berdasarkan kepercayaan (0 sampai 0.1, 0.1 sampai 0.2, dan seterusnya); di setiap bin bandingkan rata-rata kepercayaan dengan akurasi sebenarnya. Memplot satu terhadap yang lain adalah reliability diagram; kalibrasi sempurna adalah garis diagonalnya.

Expected calibration error (ECE) menjumlahkan selisih di setiap bin, dengan bobot berdasarkan berapa banyak prediksi yang masuk ke dalamnya: sum over bins of (count / total) * |accuracy - confidence|.

Angka kecil

Empat prediksi dengan tingkat kepercayaan 0.9, di mana 2 di antaranya benar: celah bin tersebut adalah |0.5 - 0.9| = 0.4. Jika itu semua prediksinya, ECE = 0.4.

Kata dan simbol di pelajaran ini
kalibrasi, ECE
apakah confidence sesuai dengan accuracy; selisih rata-rata tertimbang
Giliranku

Tulis ece(confidence, correct, bins=10) dengan bin lebar sama dari 0 sampai 1 (kepercayaan tepat 1.0 masuk ke bin teratas; lewati bin kosong).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.