Chương trình học Bài 47 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Softmax và cross-entropy cùng nhau

Vì sao điều này quan trọng Mọi bộ phân loại trong khóa học này kết thúc bằng softmax cộng cross-entropy. Gradient kết hợp của chúng là một trong những kết quả hữu ích nhất trong học sâu, và nó ngắn.

Những con số nhỏ xíu

Logit [2, 1, 0], softmax [0.665, 0.245, 0.090], lớp đúng 0 (one-hot [1, 0, 0]). Gradient của giá trị mất mát theo các logit đơn giản là softmax trừ one-hot: [-0.335, 0.245, 0.090]. Nói bằng lời: đẩy điểm của lớp đúng lên bằng mức nó còn thiếu, và đẩy mọi điểm khác xuống bằng lượng xác suất nó đã lấy sai.

One-hot: một vector toàn số không với một số 1 duy nhất ở lớp đúng.

Với một batch, lấy trung bình trên các hàng: (softmax(Z) - onehot) / n.

Tóm tắt Gradient = dự đoán trừ sự thật, lại một lần nữa.

Từ và ký hiệu trong bài học này
one-hot
các số không với một số 1 duy nhất ở lớp đúng
kiểm tra gradient
so sánh công thức gradient của bạn với một ước lượng đẩy-và-đo
Đến lượt bạn

Viết loss_and_grad(Z, labels) trả về cross-entropy trung bình và gradient của nó theo Z (shape (batch, classes)). Dùng một softmax ổn định. Hãy tự kiểm tra nó bằng bộ kiểm tra gradient của bạn trước khi nộp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.