Chương trình học Bài 108 trên tổng số 246 · Mô-đun 9: Nó có thật sự tốt hơn không?
Mô-đun 9: Nó có thật sự tốt hơn không?

Label smoothing và hiệu chỉnh

Vì sao điều này quan trọng Label smoothing thường được quảng cáo là "nó cải thiện hiệu chỉnh". Đôi khi đúng vậy. Đôi khi nó làm tệ hơn. Hãy đo, đừng giả định.

Label smoothing huấn luyện hướng tới các mục tiêu như 0.91 cho lớp đúng và 0.01 cho mỗi lớp khác, thay vì đúng 1 và 0. Điều đó ngăn mô hình đẩy độ tự tin của nó tới cực điểm. Nếu mô hình đã quá tự tin, điều đó giúp ích. Nếu nó vốn đã thiếu tự tin, nó làm mọi thứ tệ hơn.

Dự đoán trước, rồi đo trên mô hình này.

Từ và ký hiệu trong bài học này
hiệu chỉnh, ECE
độ tự tin có khớp với độ chính xác không; khoảng cách trung bình có trọng số
Đến lượt bạn

Gán my_prediction là "better" hoặc "worse": làm mượt 0.1 có hạ ECE ở đây không? Rồi tính ece_plain và ece_smooth bằng các hàm được cho, và gán measured là điều đã thật sự xảy ra.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.