Chắc 80% có nghĩa là đúng 80% số lần không?
Vì sao điều này quan trọng Độ tự tin của một mô hình chỉ hữu ích nếu nó trung thực. Một trợ lý của bác sĩ nói "chắc 90%" mà chỉ đúng một nửa số lần là nguy hiểm.
Một mô hình là được hiệu chỉnh nếu, trong mọi dự đoán nó đưa ra với độ tự tin khoảng 80%, khoảng 80% là đúng. Để kiểm tra: xếp các dự đoán vào các ngăn theo độ tự tin (0 tới 0.1, 0.1 tới 0.2, và cứ thế); trong mỗi ngăn so sánh độ tự tin trung bình với độ chính xác thực tế. Vẽ cái này theo cái kia là một biểu đồ độ tin cậy; hiệu chỉnh hoàn hảo là đường chéo.
Sai số hiệu chỉnh kỳ vọng (ECE) cộng khoảng cách ở mỗi ngăn, có trọng số theo số dự đoán rơi vào đó: sum over bins of (count / total) * |accuracy - confidence|.
Những con số nhỏ xíu
Bốn dự đoán ở độ tự tin 0.9, trong đó 2 cái đúng: khoảng cách của ngăn đó là |0.5 - 0.9| = 0.4. Nếu chúng là tất cả các dự đoán, ECE = 0.4.
Từ và ký hiệu trong bài học này
- hiệu chỉnh, ECE
- độ tự tin có khớp với độ chính xác không; khoảng cách trung bình có trọng số
Viết ece(confidence, correct, bins=10) với các ngăn bằng nhau từ 0 tới 1 (một độ tự tin đúng bằng 1.0 vào ngăn trên cùng; bỏ qua các ngăn rỗng).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.