Chương trình học Bài 141 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Attention là một phép tra mềm

Vì sao điều này quan trọng Attention là ý tưởng mới duy nhất trong một transformer. Mọi thứ khác bạn đã biết. Nó là một phép tra từ điển mà, thay vì chọn một mục, pha trộn tất cả các mục.

Xem nó

Hãy chạy hoạt ảnh. Một dictionary Python so khớp chính xác một key và trả về một value. Attention có một query q, một list các key và một list các value. Nó chấm điểm query so với mọi key bằng một tích vô hướng, biến các điểm thành trọng số bằng softmax (dương, cộng lại bằng 1), và trả về trung bình có trọng số của các value.

weights = softmax(K @ q)
output  = weights @ V

Những con số nhỏ xíu

q = [1, 0]. Các key [2, 0], [0, 2], [0, 0] cho các điểm 2, 0, 0. Softmax: e^2 = 7.39 và 1 và 1, nên các trọng số là 0.79, 0.11, 0.11. Với các value 10, 20, 30 đầu ra là 0.79 nhân 10 + 0.11 nhân 20 + 0.11 nhân 30 = 13.2: chủ yếu là value đầu tiên, một chút của các value khác.

Query, key, value: điều tôi đang tìm; điều mỗi mục đưa ra để được so khớp; điều mỗi mục trao đi nếu được khớp.

Từ và ký hiệu trong bài học này
query, key, value
điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
attention
softmax của các điểm query-key, dùng để lấy trung bình các value
Đến lượt bạn

Viết attend(q, K, V) cho một query: trả về (weights, output).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.