Chương trình học Bài 107 trên tổng số 246 · Mô-đun 9: Nó có thật sự tốt hơn không?
Mô-đun 9: Nó có thật sự tốt hơn không?

Chắc 80% có nghĩa là đúng 80% số lần không?

Vì sao điều này quan trọng Độ tự tin của một mô hình chỉ hữu ích nếu nó trung thực. Một trợ lý của bác sĩ nói "chắc 90%" mà chỉ đúng một nửa số lần là nguy hiểm.

Một mô hình là được hiệu chỉnh nếu, trong mọi dự đoán nó đưa ra với độ tự tin khoảng 80%, khoảng 80% là đúng. Để kiểm tra: xếp các dự đoán vào các ngăn theo độ tự tin (0 tới 0.1, 0.1 tới 0.2, và cứ thế); trong mỗi ngăn so sánh độ tự tin trung bình với độ chính xác thực tế. Vẽ cái này theo cái kia là một biểu đồ độ tin cậy; hiệu chỉnh hoàn hảo là đường chéo.

Sai số hiệu chỉnh kỳ vọng (ECE) cộng khoảng cách ở mỗi ngăn, có trọng số theo số dự đoán rơi vào đó: sum over bins of (count / total) * |accuracy - confidence|.

Những con số nhỏ xíu

Bốn dự đoán ở độ tự tin 0.9, trong đó 2 cái đúng: khoảng cách của ngăn đó là |0.5 - 0.9| = 0.4. Nếu chúng là tất cả các dự đoán, ECE = 0.4.

Từ và ký hiệu trong bài học này
hiệu chỉnh, ECE
độ tự tin có khớp với độ chính xác không; khoảng cách trung bình có trọng số
Đến lượt bạn

Viết ece(confidence, correct, bins=10) với các ngăn bằng nhau từ 0 tới 1 (một độ tự tin đúng bằng 1.0 vào ngăn trên cùng; bỏ qua các ngăn rỗng).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.