Label smoothing và hiệu chỉnh
Vì sao điều này quan trọng Label smoothing thường được quảng cáo là "nó cải thiện hiệu chỉnh". Đôi khi đúng vậy. Đôi khi nó làm tệ hơn. Hãy đo, đừng giả định.
Label smoothing huấn luyện hướng tới các mục tiêu như 0.91 cho lớp đúng và 0.01 cho mỗi lớp khác, thay vì đúng 1 và 0. Điều đó ngăn mô hình đẩy độ tự tin của nó tới cực điểm. Nếu mô hình đã quá tự tin, điều đó giúp ích. Nếu nó vốn đã thiếu tự tin, nó làm mọi thứ tệ hơn.
Dự đoán trước, rồi đo trên mô hình này.
Từ và ký hiệu trong bài học này
- hiệu chỉnh, ECE
- độ tự tin có khớp với độ chính xác không; khoảng cách trung bình có trọng số
Gán my_prediction là "better" hoặc "worse": làm mượt 0.1 có hạ ECE ở đây không? Rồi tính ece_plain và ece_smooth bằng các hàm được cho, và gán measured là điều đã thật sự xảy ra.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.