Softmax và cross-entropy cùng nhau
Vì sao điều này quan trọng Mọi bộ phân loại trong khóa học này kết thúc bằng softmax cộng cross-entropy. Gradient kết hợp của chúng là một trong những kết quả hữu ích nhất trong học sâu, và nó ngắn.
Những con số nhỏ xíu
Logit [2, 1, 0], softmax [0.665, 0.245, 0.090], lớp đúng 0 (one-hot [1, 0, 0]). Gradient của giá trị mất mát theo các logit đơn giản là softmax trừ one-hot: [-0.335, 0.245, 0.090]. Nói bằng lời: đẩy điểm của lớp đúng lên bằng mức nó còn thiếu, và đẩy mọi điểm khác xuống bằng lượng xác suất nó đã lấy sai.
One-hot: một vector toàn số không với một số 1 duy nhất ở lớp đúng.
Với một batch, lấy trung bình trên các hàng: (softmax(Z) - onehot) / n.
Tóm tắt Gradient = dự đoán trừ sự thật, lại một lần nữa.
Từ và ký hiệu trong bài học này
- one-hot
- các số không với một số 1 duy nhất ở lớp đúng
- kiểm tra gradient
- so sánh công thức gradient của bạn với một ước lượng đẩy-và-đo
Viết loss_and_grad(Z, labels) trả về cross-entropy trung bình và gradient của nó theo Z (shape (batch, classes)). Dùng một softmax ổn định. Hãy tự kiểm tra nó bằng bộ kiểm tra gradient của bạn trước khi nộp.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.