Chương trình học Bài 156 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Sinh văn bản nhanh: bộ nhớ đệm key-value

Vì sao điều này quan trọng Chatbot viết từng token một. Làm một cách ngây thơ, mỗi token mới tính lại key và value của toàn bộ văn bản tới lúc đó. Bộ nhớ đệm key-value là lý do câu trả lời hiện ra nhanh.

Xem nó

Hãy chạy hoạt ảnh. Với mặt nạ nhân quả, key và value của các vị trí trước không bao giờ thay đổi khi token mới tới. Vậy hãy giữ chúng lại: với mỗi token mới chỉ tính q, k và v của riêng nó, thêm k và v vào bộ nhớ đệm, và chú ý bằng q trên các key đã lưu.

Khối lượng việc mỗi token mới: cách ngây thơ tính t key và value cho một văn bản độ dài t; bộ nhớ đệm tính 1. Trên một câu trả lời 1.000 token, đó là khoảng 500.000 lần tính key so với 1.000.

Từ và ký hiệu trong bài học này
query, key, value
điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
attention
softmax của các điểm query-key, dùng để lấy trung bình các value
self-attention
mọi vị trí chú ý tới các vị trí của cùng văn bản
mặt nạ nhân quả
các điểm phía trên đường chéo đặt thành trừ vô cùng: không vị trí nào thấy tương lai
bộ nhớ đệm key-value
giữ các key và value trước đó để mỗi token mới chỉ tốn một bước
Đến lượt bạn

Viết cached_step(x, cache, Wq, Wk, Wv): x là một hàng mới; thêm key và value của nó vào cache["K"] và cache["V"] (các list), và trả về đầu ra attention của nó trên mọi vị trí đã lưu. Đưa các hàng của X vào từng hàng một phải tái tạo chính xác self-attention nhân quả. Gán keys_naive và keys_cached: mỗi cách tính bao nhiêu vector key để tạo ra 1.000 token.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.