Self-attention: mọi vị trí hỏi mọi vị trí khác
Vì sao điều này quan trọng Trong một transformer không có bộ mã hóa riêng để nhìn lại. Mọi vị trí của văn bản chú ý tới các vị trí khác, nên vector của mỗi ký tự được cập nhật với thông tin từ phần còn lại của câu.
Bắt đầu với X, một hàng cho mỗi vị trí (t hàng, d cột). Ba ma trận đã học tạo ra query, key và value của mọi vị trí cùng lúc:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Đây là phép tra mềm của bài học 1, làm cho cả t query cùng lúc bằng hai phép nhân ma trận, đó là lý do nó chạy rất tốt trên các thủ tục toán học nhanh.
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- self-attention
- mọi vị trí chú ý tới các vị trí của cùng văn bản
Viết self_attention(X, Wq, Wk, Wv) trả về (out, A).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.