Chương trình học Bài 35 trên tổng số 246 · Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Cross-entropy là khả năng đội lốt

Vì sao điều này quan trọng Các bộ phân loại được huấn luyện bằng một hàm mất mát gọi là cross-entropy. Nghe có vẻ mới, nhưng nó là ý tưởng khả năng từ hai bài học trước.

Những con số nhỏ xíu

Một mô hình nói xác suất của các chữ số 0, 1 và 2 là [0.665, 0.245, 0.090]. Chữ số thật là 0. Mô hình đã nghĩ sự thật có khả năng tới đâu? 0.665. Theo ước lượng khả năng cực đại ta muốn con số đó lớn; với vai trò giá trị mất mát ta muốn một thứ nhỏ, nên ta lấy âm log của nó: -log(0.665) = 0.408.

Nếu chữ số thật là 2, giá trị mất mát sẽ là -log(0.090) = 2.41: mô hình chỉ gán cho sự thật 9%, nên nó bị phạt nặng. Một dự đoán hoàn hảo (xác suất 1) có giá trị mất mát 0.

Hàm mất mát cross-entropy: âm log của xác suất mà mô hình gán cho câu trả lời đúng, lấy trung bình trên các ví dụ. Nó chính xác là âm log-likelihood.

Chọn một phần tử cho mỗi hàng

Với một batch, bạn cần, cho mỗi hàng, xác suất ở cột đúng của hàng đó. NumPy làm điều này bằng hai mảng chỉ số có cùng độ dài: probs[rows, cols] chọn probs[rows[0], cols[0]], probs[rows[1], cols[1]] và cứ thế. Với probs = [[0.7, 0.3], [0.2, 0.8]] và các nhãn [0, 1], probs[np.arange(2), labels] cho [0.7, 0.8]: hàng 0 cột 0, rồi hàng 1 cột 1. Điều này được gọi là fancy indexing.

Một mốc hữu ích: một mô hình đoán đều trên 10 lớp gán cho mỗi lớp 0.1, nên giá trị mất mát của nó là -log(0.1) = 2.30. Một bộ phân loại mới khởi tạo bắt đầu gần đó.

Tóm tắt Mất mát = -log(xác suất gán cho sự thật).

Từ và ký hiệu trong bài học này
khả năng (likelihood)
dữ liệu bạn đã thấy có xác suất tới đâu dưới một thiết lập của mô hình
cross-entropy
âm log của xác suất được gán cho câu trả lời đúng
Đến lượt bạn

Viết cross_entropy(probs, labels): probs là (batch, classes) các xác suất, labels giữ lớp đúng của mỗi hàng; trả về trung bình của -log(xác suất của lớp đúng). Không vòng lặp. Rồi gán uniform_10_loss là giá trị mất mát của một phỏng đoán đều trên 10 lớp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.