Lan truyền ngược qua attention
Vì sao điều này quan trọng Mọi thư viện tính điều này cho bạn, nhưng nó chỉ là bốn bước bạn đã biết. Suy ra nó một lần là điều biến attention thành một lớp bạn hiểu, không phải một chiếc hộp bạn gọi.
Xuôi, cho một chuỗi X (t vị trí nhân d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) theo từng hàng, out = A V. Ngược đi qua cùng các bước theo thứ tự đảo lại, cho G = dL/d(out):
- out = A V là một phép nhân ma trận (quy tắc shape của Mô-đun 2): dA = G VT và dV = AT G.
- A = softmax(S), theo từng hàng (gradient softmax của Mô-đun 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) và dK = dST Q / sqrt(d).
- Q = X Wq (và tương tự cho K và V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Ở đây d là độ rộng của các query và key (số cột của Wq). Không có quy tắc mới nào xuất hiện ở đâu cả: lượt lan truyền ngược của attention là hai phép nhân ma trận và một softmax, chạy ngược.
Tóm tắt Hoàn tác các bước theo thứ tự ngược lại, mỗi bước với quy tắc bạn đã có.
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
Viết attention_backward(X, Wq, Wk, Wv, G) trả về (dWq, dWk, dWv) cho out = softmax(Q KT / sqrt(d)) V không có mặt nạ. Bài kiểm tra được giấu đối chiếu mọi phần tử với phép đẩy nhẹ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.