Lebih dari sekadar Akurasi: Presisi, Recall & F1
Kamu sudah melihat jebakannya di pelajaran sebelumnya: kalau 95% email bukan spam, model yang selalu menebak "bukan spam" mendapat akurasi 0.95 sambil tidak menangkap satu spam pun. Pada masalah apa pun yang tidak seimbang, akurasi berbohong. Perbaikannya adalah melihat jenis kesalahan yang dibuat model, dengan confusion matrix.
Untuk pengklasifikasi ya/tidak (label 1 = kelas positif, misalnya "spam"), setiap prediksi jatuh ke salah satu dari empat kotak:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Tiga angka keluar dari hitungan itu, dan itulah yang benar-benar dilaporkan tim sungguhan:
- Presisi =
TP / (TP + FP). Dari semua yang kamu tandai, berapa banyak yang benar? Presisi rendah = berteriak serigala. - Recall =
TP / (TP + FN). Dari semua yang seharusnya kamu tangkap, berapa banyak yang tertangkap? Recall rendah = melewatkan kasus yang sebenarnya. - F1 =
2 * P * R / (P + R), rata-rata harmonik. Satu angka yang hanya tinggi kalau presisi DAN recall sama-sama tinggi, jadi model malas yang serba-negatif (recall 0) mendapat F1 = 0 dan terbongkar.
Presisi dan recall saling tukar: tandai semuanya dan recall mencapai 1.0 tetapi presisi anjlok; jangan tandai apa pun dan presisi tidak terdefinisi tetapi kamu tidak menangkap apa-apa. F1 menjagamu tetap jujur. Kalau sebuah penyebut nol (kamu tidak memprediksi positif sama sekali, atau memang tidak ada), laporkan metrik itu sebagai 0.0 alih-alih membagi dengan nol.
Buat dua fungsi. confusion(y_true, y_pred) mengembalikan tuple (tp, fp, fn, tn) atas dua daftar label 0/1 yang panjangnya sama. prf(y_true, y_pred) mengembalikan {"precision", "recall", "f1"} yang dihitung dari hitungan itu (0.0 pada penyebut nol mana pun). Tes tersembunyi mencocokkan angkamu dengan scikit-learn, jadi definisinya harus persis. Tekan Run untuk memberi skor pengklasifikasi yang tidak seimbang.
Tulis confusion(y_true, y_pred) yang mengembalikan (tp, fp, fn, tn) untuk dua list label 0/1 dengan panjang yang sama (1 adalah kelas positif), dan prf(y_true, y_pred) yang mengembalikan {"precision", "recall", "f1"} di mana precision = TP/(TP+FP), recall = TP/(TP+FN), dan f1 = 2*P*R/(P+R). Kembalikan 0.0 untuk metrik apa pun yang penyebutnya nol (jangan pernah membagi dengan nol). Hasilmu akan diperiksa silang dengan scikit-learn.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.