Gradient của softmax, và vì sao hàm mất mát giấu nó đi
Vì sao điều này quan trọng Softmax nằm bên trong attention, nơi gradient của nó được cần riêng. Kết hợp với cross-entropy nó thu gọn thành một thứ rất đơn giản, và biết vì sao là điều cho phép bạn tin phiên bản đơn giản.
Gradient đầy đủ
Với p = softmax(z), mỗi đầu ra phụ thuộc vào mọi điểm. Đẩy zj dịch pi bằng pi (1 - pi) nhân lần đẩy khi i = j, và bằng - pi pj khi i khác j: nâng một điểm kéo xác suất ra khỏi mọi điểm khác. Dưới dạng một bảng (ma trận Jacobian): diag(p) - p pT.
Lượt ngược không bao giờ dựng bảng đó. Cho g = dL/dp, gradient theo z là p * (g - (g · p)), từng phần tử một: mỗi pi nhân với việc g riêng của nó vượt trung bình có trọng số xác suất của g bao nhiêu.
Những con số nhỏ xíu
p = [0.5, 0.3, 0.2] và g = [1, 0, 0]. Khi đó g · p = 0.5, và dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Các phần tử cộng lại bằng 0: cộng cùng một lượng vào mọi điểm không thay đổi gì.
Vì sao cross-entropy làm nó đơn giản
Với L = -log py, g là -1 / py ở lớp đúng và 0 ở chỗ khác. Đưa điều đó vào p * (g - (g · p)) và nó trở thành p - onehot(y): công thức Mô-đun 3 đã dùng. Dạng đơn giản là chính gradient này, không phải một lối tắt.
Tóm tắt Lượt ngược của softmax: p * (g - g · p). Với cross-entropy ở trên: p - onehot.
Từ và ký hiệu trong bài học này
- softmax
- exp của mỗi điểm chia cho tổng: điểm trở thành xác suất
- cross-entropy
- âm log của xác suất được gán cho câu trả lời đúng
Viết softmax_jacobian(z) (một mảng 1D các điểm vào, bảng (n, n) ra) và softmax_backward(z, g) cho mảng 2D (một hàng cho mỗi ví dụ), dùng p * (g - (g · p)) từng hàng một, mà không dựng bảng. Bài kiểm tra được giấu kiểm tra cả hai với việc đẩy nhẹ và kiểm tra rằng với g của cross-entropy câu trả lời là p - onehot.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.