Cross-entropy là khả năng đội lốt
Vì sao điều này quan trọng Các bộ phân loại được huấn luyện bằng một hàm mất mát gọi là cross-entropy. Nghe có vẻ mới, nhưng nó là ý tưởng khả năng từ hai bài học trước.
Những con số nhỏ xíu
Một mô hình nói xác suất của các chữ số 0, 1 và 2 là [0.665, 0.245, 0.090]. Chữ số thật là 0. Mô hình đã nghĩ sự thật có khả năng tới đâu? 0.665. Theo ước lượng khả năng cực đại ta muốn con số đó lớn; với vai trò giá trị mất mát ta muốn một thứ nhỏ, nên ta lấy âm log của nó: -log(0.665) = 0.408.
Nếu chữ số thật là 2, giá trị mất mát sẽ là -log(0.090) = 2.41: mô hình chỉ gán cho sự thật 9%, nên nó bị phạt nặng. Một dự đoán hoàn hảo (xác suất 1) có giá trị mất mát 0.
Hàm mất mát cross-entropy: âm log của xác suất mà mô hình gán cho câu trả lời đúng, lấy trung bình trên các ví dụ. Nó chính xác là âm log-likelihood.
Chọn một phần tử cho mỗi hàng
Với một batch, bạn cần, cho mỗi hàng, xác suất ở cột đúng của hàng đó. NumPy làm điều này bằng hai mảng chỉ số có cùng độ dài: probs[rows, cols] chọn probs[rows[0], cols[0]], probs[rows[1], cols[1]] và cứ thế. Với probs = [[0.7, 0.3], [0.2, 0.8]] và các nhãn [0, 1], probs[np.arange(2), labels] cho [0.7, 0.8]: hàng 0 cột 0, rồi hàng 1 cột 1. Điều này được gọi là fancy indexing.
Một mốc hữu ích: một mô hình đoán đều trên 10 lớp gán cho mỗi lớp 0.1, nên giá trị mất mát của nó là -log(0.1) = 2.30. Một bộ phân loại mới khởi tạo bắt đầu gần đó.
Tóm tắt Mất mát = -log(xác suất gán cho sự thật).
Từ và ký hiệu trong bài học này
- khả năng (likelihood)
- dữ liệu bạn đã thấy có xác suất tới đâu dưới một thiết lập của mô hình
- cross-entropy
- âm log của xác suất được gán cho câu trả lời đúng
Viết cross_entropy(probs, labels): probs là (batch, classes) các xác suất, labels giữ lớp đúng của mỗi hàng; trả về trung bình của -log(xác suất của lớp đúng). Không vòng lặp. Rồi gán uniform_10_loss là giá trị mất mát của một phỏng đoán đều trên 10 lớp.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.