Chương trình học Bài 92 trên tổng số 250 · Những mô hình học máy đầu tiên của bạn
Những mô hình học máy đầu tiên của bạn

Vượt ra ngoài độ chính xác: Precision, Recall và F1

Bạn đã thấy cái bẫy ở bài trước: nếu 95% email không phải spam, một mô hình luôn đoán "không spam" đạt độ chính xác 0.95 trong khi không bắt được spam nào. Trên bất kỳ bài toán mất cân bằng nào, độ chính xác nói dối. Cách sửa là xem mô hình mắc loại lỗi nào, bằng ma trận nhầm lẫn (confusion matrix).

Với một bộ phân loại có/không (nhãn 1 = lớp dương, ví dụ "spam"), mọi dự đoán rơi vào một trong bốn ô:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Ba con số rút ra từ các số đếm đó, và đó là những gì các nhóm thật sự báo cáo:

  • Precision = TP / (TP + FP). Trong mọi thứ bạn đánh dấu, bao nhiêu là đúng? Precision thấp = báo động giả.
  • Recall = TP / (TP + FN). Trong mọi thứ bạn lẽ ra phải bắt, bạn bắt được bao nhiêu? Recall thấp = bỏ sót các trường hợp thật.
  • F1 = 2 * P * R / (P + R), trung bình điều hòa. Một con số chỉ cao khi CẢ precision lẫn recall đều cao, nên mô hình lười toàn-âm (recall 0) đạt F1 = 0 và bị lộ.

Precision và recall đánh đổi với nhau: đánh dấu mọi thứ thì recall lên 1.0 nhưng precision lao dốc; không đánh dấu gì thì precision không xác định nhưng bạn không bắt được gì. F1 giữ bạn trung thực. Khi một mẫu số bằng không (bạn không dự đoán dương nào, hoặc không có dương nào), báo cáo thước đo đó là 0.0 thay vì chia cho không.

Xây hai hàm. confusion(y_true, y_pred) trả về tuple (tp, fp, fn, tn) trên hai list nhãn 0/1 cùng độ dài. prf(y_true, y_pred) trả về {"precision", "recall", "f1"} tính từ các số đếm đó (0.0 khi có mẫu số bằng không). Các bài kiểm tra ẩn đối chiếu số của bạn với scikit-learn, nên các định nghĩa phải chính xác. Nhấn Chạy để chấm một bộ phân loại mất cân bằng.

Đến lượt bạn

Viết confusion(y_true, y_pred) trả về (tp, fp, fn, tn) cho hai list nhãn 0/1 cùng độ dài (1 là lớp dương), và prf(y_true, y_pred) trả về {"precision", "recall", "f1"} trong đó precision = TP/(TP+FP), recall = TP/(TP+FN), và f1 = 2*P*R/(P+R). Trả về 0.0 cho bất kỳ thước đo nào có mẫu số bằng không (không bao giờ chia cho không). Kết quả của bạn được đối chiếu với scikit-learn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.