Softmax và cross-entropy trong một bước
Vì sao điều này quan trọng Bạn có thể dựng softmax từ exp, sum và phép chia, nhưng kết quả chậm hơn và có thể tràn số. Mọi thư viện thật đều hợp nhất softmax và cross-entropy thành một phép toán với gradient đơn giản bạn đã suy ra ở Mô-đun 3.
Một phép toán hợp nhất tính lượt xuôi của nó trong một lần (với phép dịch theo max cho an toàn) và có một quy tắc lượt ngược: (softmax - onehot) / n, nhân gradient tới. Bạn cũng cần relu cho một mạng: cho gradient đi qua ở chỗ đầu vào dương.
Tóm tắt Hợp nhất những gì bạn có thể; gradient kết hợp đơn giản hơn các phần của nó.
Từ và ký hiệu trong bài học này
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- .grad
- gradient của giá trị mất mát cuối cùng theo Tensor này
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Viết relu và cross_entropy(labels) (trên một Tensor logit (batch, classes), trả về một Tensor vô hướng) cùng các quy tắc lượt ngược của chúng.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.