Chương trình học Bài 36 trên tổng số 246 · Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Gradient của softmax, và vì sao hàm mất mát giấu nó đi

Vì sao điều này quan trọng Softmax nằm bên trong attention, nơi gradient của nó được cần riêng. Kết hợp với cross-entropy nó thu gọn thành một thứ rất đơn giản, và biết vì sao là điều cho phép bạn tin phiên bản đơn giản.

Gradient đầy đủ

Với p = softmax(z), mỗi đầu ra phụ thuộc vào mọi điểm. Đẩy zj dịch pi bằng pi (1 - pi) nhân lần đẩy khi i = j, và bằng - pi pj khi i khác j: nâng một điểm kéo xác suất ra khỏi mọi điểm khác. Dưới dạng một bảng (ma trận Jacobian): diag(p) - p pT.

Lượt ngược không bao giờ dựng bảng đó. Cho g = dL/dp, gradient theo z là p * (g - (g · p)), từng phần tử một: mỗi pi nhân với việc g riêng của nó vượt trung bình có trọng số xác suất của g bao nhiêu.

Những con số nhỏ xíu

p = [0.5, 0.3, 0.2] và g = [1, 0, 0]. Khi đó g · p = 0.5, và dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Các phần tử cộng lại bằng 0: cộng cùng một lượng vào mọi điểm không thay đổi gì.

Vì sao cross-entropy làm nó đơn giản

Với L = -log py, g là -1 / py ở lớp đúng và 0 ở chỗ khác. Đưa điều đó vào p * (g - (g · p)) và nó trở thành p - onehot(y): công thức Mô-đun 3 đã dùng. Dạng đơn giản là chính gradient này, không phải một lối tắt.

Tóm tắt Lượt ngược của softmax: p * (g - g · p). Với cross-entropy ở trên: p - onehot.

Từ và ký hiệu trong bài học này
softmax
exp của mỗi điểm chia cho tổng: điểm trở thành xác suất
cross-entropy
âm log của xác suất được gán cho câu trả lời đúng
Đến lượt bạn

Viết softmax_jacobian(z) (một mảng 1D các điểm vào, bảng (n, n) ra) và softmax_backward(z, g) cho mảng 2D (một hàng cho mỗi ví dụ), dùng p * (g - (g · p)) từng hàng một, mà không dựng bảng. Bài kiểm tra được giấu kiểm tra cả hai với việc đẩy nhẹ và kiểm tra rằng với g của cross-entropy câu trả lời là p - onehot.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.