Chương trình học Bài 142 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Vì sao chia cho căn bậc hai của d

Vì sao điều này quan trọng Mọi transformer chia các điểm attention của nó cho căn bậc hai của kích thước key. Bỏ nó đi và attention ngừng pha trộn, còn gradient của nó gần như biến mất. Bạn sẽ đo được vì sao.

Một tích vô hướng của hai vector ngẫu nhiên độ dài d cộng lại d tích. Mỗi tích có độ phân tán khoảng 1, nên tổng có độ phân tán khoảng căn bậc hai của d. Lý do: khi bạn cộng các số ngẫu nhiên độc lập, độ phân tán của chúng không cộng lại, bình phương của chúng mới cộng (các bình phương gọi là phương sai). d tích, mỗi tích có phương sai 1, cho phương sai d, nên độ phân tán là căn bậc hai của d. Với d = 64 đó là 8.

Các điểm trải trên cộng trừ 8 hoặc hơn làm softmax gần như one-hot: một trọng số gần 1, phần còn lại gần 0. Một softmax one-hot có gradient nhỏ xíu: độ dốc của mỗi đầu ra theo điểm của chính nó là p(1 - p), gần 0 khi p gần 0 hoặc 1 (bài học gradient softmax của Mô-đun 2 suy ra nó, và bài học lan truyền ngược qua attention của mô-đun này dùng nó), nên mô hình học chậm. Chia cho căn bậc hai của d đưa độ phân tán về khoảng 1, bất kể d là bao nhiêu.

Hãy dự đoán: khi d tăng từ 4 tới 256, điều gì xảy ra với trọng số lớn nhất, có và không có phép chia?

Từ và ký hiệu trong bài học này
query, key, value
điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
attention
softmax của các điểm query-key, dùng để lấy trung bình các value
Đến lượt bạn

Điền my_guess. Rồi viết top_weight(d, scaled): 2.000 query ngẫu nhiên so với mỗi query 32 key ngẫu nhiên (số phân phối chuẩn, seed 0), trung bình của trọng số softmax lớn nhất. Điền measured.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.