Silabus Pelajaran 168 dari 250 · Evaluasi & Pengujian LLM
Evaluasi & Pengujian LLM

Akurasi vs Presisi/Recall/F1 untuk Klasifikasi

Sebagian besar pekerjaan LLM sebenarnya adalah classification: arahkan tiket ini, beri label sentimen ini, tandai pesan ini sebagai spam. Untuk hal tersebut, akurasi saja adalah jebakan. Bangun filter spam pada kotak surat yang 95% ham dan sebuah model yang melabeli everything ham dengan skor akurasi 95% sambil menangkap nol spam. Angkanya terlihat bagus; produknya tidak berguna. Untuk melihat itu, kamu butuh precision, recall, dan F1 yang dipisahkan untuk kelas yang benar-benar kamu pedulikan.

Pilih sebuah positif class (misalnya spam) dan hitung empat bucket:

  • TP true positives: diprediksi spam, memang spam.
  • FP false positives: prediksi spam, padahal ham (email bagus yang masuk ke junk).
  • FN false negatives: prediksi ham, tapi ternyata spam (spam yang lolos).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Ini menarik ke arah yang berbeda. Flag secara agresif dan recall naik sementara precision turun; flag secara konservatif dan sebaliknya. F1 adalah satu angka yang menolak membiarkan keduanya runtuh. Pada set yang tidak seimbang, accuracy dan F1 sangat berbeda, dan itulah tujuan utama menghitung keduanya secara terpisah.

Kamu akan mengimplementasikan ini secara manual karena rumus-rumusnya penting untuk dihafal luar kepala untuk wawancara. Tapi kamu jangan pernah ship metrik buatan sendiri saat ada library yang sudah teruji, jadi tes juga memeriksa angka kamu terhadap scikit-learn's precision_score, recall_score, dan f1_score. Jika cocok dengan sklearn, kamu mengimplementasikannya dengan benar.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

Apa yang harus dibangun. classification_metrics(y_true, y_pred, positive_label) mengembalikan dict {"accuracy", "precision", "recall", "f1"}, masing-masing rounded ke 4 tempat. Lindungi kasus pembagi nol (tidak ada prediksi positif, tidak ada positif aktual) dengan mengembalikan 0.0 untuk metrik tersebut alih-alih membagi dengan nol. Tekan Run untuk mencetak laporan dan lihat akurasi dan F1 berbeda pada set yang tidak seimbang.

Giliranku

Tulis classification_metrics(y_true, y_pred, positive_label) yang mengembalikan {'accuracy', 'precision', 'recall', 'f1'} untuk kelas positif yang dipilih, masing-masing round dibulatkan ke 4 tempat desimal. Hitung TP/FP/FN terhadap positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = rata-rata harmonik, accuracy = benar/total. Kembalikan 0.0 untuk metrik apa pun yang penyebutnya nol. Angka kamu harus cocok dengan precision_score/recall_score/f1_score milik scikit-learn.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.