Sinh văn bản nhanh: bộ nhớ đệm key-value
Vì sao điều này quan trọng Chatbot viết từng token một. Làm một cách ngây thơ, mỗi token mới tính lại key và value của toàn bộ văn bản tới lúc đó. Bộ nhớ đệm key-value là lý do câu trả lời hiện ra nhanh.
Xem nó
Hãy chạy hoạt ảnh. Với mặt nạ nhân quả, key và value của các vị trí trước không bao giờ thay đổi khi token mới tới. Vậy hãy giữ chúng lại: với mỗi token mới chỉ tính q, k và v của riêng nó, thêm k và v vào bộ nhớ đệm, và chú ý bằng q trên các key đã lưu.
Khối lượng việc mỗi token mới: cách ngây thơ tính t key và value cho một văn bản độ dài t; bộ nhớ đệm tính 1. Trên một câu trả lời 1.000 token, đó là khoảng 500.000 lần tính key so với 1.000.
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- self-attention
- mọi vị trí chú ý tới các vị trí của cùng văn bản
- mặt nạ nhân quả
- các điểm phía trên đường chéo đặt thành trừ vô cùng: không vị trí nào thấy tương lai
- bộ nhớ đệm key-value
- giữ các key và value trước đó để mỗi token mới chỉ tốn một bước
Viết cached_step(x, cache, Wq, Wk, Wv): x là một hàng mới; thêm key và value của nó vào cache["K"] và cache["V"] (các list), và trả về đầu ra attention của nó trên mọi vị trí đã lưu. Đưa các hàng của X vào từng hàng một phải tái tạo chính xác self-attention nhân quả. Gán keys_naive và keys_cached: mỗi cách tính bao nhiêu vector key để tạo ra 1.000 token.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.