Attention là một phép tra mềm
Vì sao điều này quan trọng Attention là ý tưởng mới duy nhất trong một transformer. Mọi thứ khác bạn đã biết. Nó là một phép tra từ điển mà, thay vì chọn một mục, pha trộn tất cả các mục.
Xem nó
Hãy chạy hoạt ảnh. Một dictionary Python so khớp chính xác một key và trả về một value. Attention có một query q, một list các key và một list các value. Nó chấm điểm query so với mọi key bằng một tích vô hướng, biến các điểm thành trọng số bằng softmax (dương, cộng lại bằng 1), và trả về trung bình có trọng số của các value.
weights = softmax(K @ q)
output = weights @ V
Những con số nhỏ xíu
q = [1, 0]. Các key [2, 0], [0, 2], [0, 0] cho các điểm 2, 0, 0. Softmax: e^2 = 7.39 và 1 và 1, nên các trọng số là 0.79, 0.11, 0.11. Với các value 10, 20, 30 đầu ra là 0.79 nhân 10 + 0.11 nhân 20 + 0.11 nhân 30 = 13.2: chủ yếu là value đầu tiên, một chút của các value khác.
Query, key, value: điều tôi đang tìm; điều mỗi mục đưa ra để được so khớp; điều mỗi mục trao đi nếu được khớp.
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
Viết attend(q, K, V) cho một query: trả về (weights, output).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.