Chương trình học Bài 148 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Attention không có cảm nhận về thứ tự

Vì sao điều này quan trọng "Dog bites man" và "man bites dog" dùng cùng các từ. Self-attention, tự nó, không thể phân biệt chúng. Thấy được vì sao giải thích thành phần bổ sung mà mọi transformer thêm vào.

Xáo trộn các hàng của X và các hàng đầu ra của self-attention bị xáo trộn theo cùng cách, không gì khác thay đổi. Kết quả của mỗi vị trí phụ thuộc vào những vector nào có mặt, không phải chúng nằm ở đâu. (Với mặt nạ nhân quả điều này không hoàn toàn đúng: vị trí i thấy đúng i + 1 token, nên một mô hình có thể học cách đếm chúng, và các mô hình nhân quả không có vector vị trí quả thực học thứ tự theo cách đó. Nhưng nó chậm và không đáng tin cậy; vector vị trí tường minh làm thứ tự trở nên dễ dàng.)

Vì vậy transformer cộng một vector vị trí vào embedding của mỗi token trước lớp đầu tiên. GPT đã ghi lại học một vector cho mỗi vị trí, 32 vector. Điều gì xảy ra với các dự đoán của nó nếu ta xóa chúng?

Từ và ký hiệu trong bài học này
attention
softmax của các điểm query-key, dùng để lấy trung bình các value
self-attention
mọi vị trí chú ý tới các vị trí của cùng văn bản
mặt nạ nhân quả
các điểm phía trên đường chéo đặt thành trừ vô cùng: không vị trí nào thấy tương lai
vector vị trí
được cộng vào mỗi token để attention có thể phân biệt thứ tự
Đến lượt bạn

Viết shuffle_check(f): True nếu hoán vị các hàng của một X ngẫu nhiên hoán vị các hàng đầu ra của f theo cùng cách. Ở đây f(X, Wq, Wk, Wv) chỉ trả về đầu ra, giống attn bên dưới; hãy tạo X và các trọng số ngẫu nhiên bên trong shuffle_check. Rồi điền with_pos và without_pos: giá trị mất mát trên dữ liệu giữ lại của mô hình đã ghi lại (model.eval_loss(held, n=32)) như hiện tại và khi model.P["pos"].data được đặt về các số không (đặt lại nó sau đó).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.