Accuracy so với Precision/Recall/F1 cho phân loại
Một phần rất lớn công việc với LLM thật ra là phân loại: định tuyến phiếu này, gán nhãn cảm xúc này, đánh dấu tin nhắn này là spam. Với những việc đó, chỉ riêng accuracy là một cái bẫy. Xây một bộ lọc spam trên một hộp thư 95% là thư thường và một mô hình gán nhãn mọi thứ là thư thường sẽ được 95% accuracy trong khi không bắt được thư spam nào. Con số trông tuyệt vời; sản phẩm thì vô dụng. Để thấy điều đó, bạn cần precision, recall và F1 tách riêng cho lớp bạn thật sự quan tâm.
Chọn một lớp dương (giả sử spam) và đếm bốn nhóm:
- TP dương tính thật: dự đoán spam, đúng là spam.
- FP dương tính giả: dự đoán spam, hóa ra là thư thường (một email tốt bị đẩy vào thư rác).
- FN âm tính giả: dự đoán thư thường, hóa ra là spam (spam lọt qua).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsChúng kéo về các hướng khác nhau. Đánh dấu mạnh tay và recall tăng trong khi precision giảm; đánh dấu dè dặt thì ngược lại. F1 là con số duy nhất không để cái nào sụp đổ. Trên một tập mất cân bằng, accuracy và F1 lệch nhau rất mạnh, đó chính là lý do tính chúng riêng.
Bạn sẽ tự cài đặt chúng vì các công thức đáng thuộc lòng cho phỏng vấn. Nhưng bạn không bao giờ nên đưa vào sản phẩm các thước đo tự viết khi đã có một thư viện được kiểm thử, nên các bài kiểm tra cũng so các con số của bạn với precision_score, recall_score, và f1_score của scikit-learn. Nếu bạn khớp với sklearn, bạn đã cài đặt đúng.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")Cần xây gì. classification_metrics(y_true, y_pred, positive_label) trả về một dict {"accuracy", "precision", "recall", "f1"}, mỗi cái được round tới 4 chữ số. Canh các trường hợp mẫu số bằng không (không có dương tính được dự đoán, không có dương tính thật) bằng cách trả về 0.0 cho thước đo đó thay vì chia cho không. Bấm Chạy để in một báo cáo và xem accuracy với F1 bất đồng trên một tập mất cân bằng.
Viết classification_metrics(y_true, y_pred, positive_label) trả về {'accuracy', 'precision', 'recall', 'f1'} cho lớp dương đã chọn, mỗi cái được round tới 4 chữ số. Đếm TP/FP/FN theo positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = trung bình điều hòa, accuracy = số đúng/tổng. Trả về 0.0 cho mọi thước đo có mẫu số bằng không. Các con số của bạn phải khớp với precision_score/recall_score/f1_score của scikit-learn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.