Chương trình học Bài 143 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Attention sửa được nút thắt

Vì sao điều này quan trọng Attention được phát minh năm 2014 để sửa đúng vấn đề bạn đã đo ở Mô-đun 11: một bộ mã hóa ép cả một câu vào một vector.

Trong thí nghiệm đã ghi lại seq2seq-bottleneck, bộ giải mã của mô hình attention, ở mỗi bước, chú ý tới tất cả trạng thái ẩn của bộ mã hóa (query của nó là trạng thái của chính bộ giải mã). Nó không còn phụ thuộc vào một vector cuối cùng; nó có thể nhìn thẳng lại chữ số nó cần.

Hãy dự đoán: ở độ dài 16, nơi mô hình thuần làm đúng khoảng 59% chữ số, mô hình attention đạt bao nhiêu?

Từ và ký hiệu trong bài học này
query, key, value
điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
attention
softmax của các điểm query-key, dùng để lấy trung bình các value
Đến lượt bạn

Gán my_guess là một số giữa 0 và 1: phỏng đoán của bạn về độ chính xác theo chữ số của mô hình attention ở độ dài 16. Điền acc: (model, length) ứng với độ chính xác theo chữ số trung bình của hai seed, cho cả hai mô hình và cả bốn độ dài, và gain_at_16.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.