Apakah yakin 80% berarti benar 80% dari waktu?
Kenapa ini penting Kepercayaan sebuah model hanya berguna jika jujur. Asisten dokter yang bilang "90% yakin" tapi hanya benar setengah waktu itu berbahaya.
A adalah calibrated jika, dari semua prediksi yang dibuat dengan kepercayaan sekitar 80%, sekitar 80% di antaranya benar. Untuk mengeceknya: urutkan prediksi ke dalam bin berdasarkan kepercayaan (0 sampai 0.1, 0.1 sampai 0.2, dan seterusnya); di setiap bin bandingkan rata-rata kepercayaan dengan akurasi sebenarnya. Memplot satu terhadap yang lain adalah reliability diagram; kalibrasi sempurna adalah garis diagonalnya.
Expected calibration error (ECE) menjumlahkan selisih di setiap bin, dengan bobot berdasarkan berapa banyak prediksi yang masuk ke dalamnya: sum over bins of (count / total) * |accuracy - confidence|.
Angka kecil
Empat prediksi dengan tingkat kepercayaan 0.9, di mana 2 di antaranya benar: celah bin tersebut adalah |0.5 - 0.9| = 0.4. Jika itu semua prediksinya, ECE = 0.4.
Kata dan simbol di pelajaran ini
- kalibrasi, ECE
- apakah confidence sesuai dengan accuracy; selisih rata-rata tertimbang
Tulis ece(confidence, correct, bins=10) dengan bin lebar sama dari 0 sampai 1 (kepercayaan tepat 1.0 masuk ke bin teratas; lewati bin kosong).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.