Vì sao chia cho căn bậc hai của d
Vì sao điều này quan trọng Mọi transformer chia các điểm attention của nó cho căn bậc hai của kích thước key. Bỏ nó đi và attention ngừng pha trộn, còn gradient của nó gần như biến mất. Bạn sẽ đo được vì sao.
Một tích vô hướng của hai vector ngẫu nhiên độ dài d cộng lại d tích. Mỗi tích có độ phân tán khoảng 1, nên tổng có độ phân tán khoảng căn bậc hai của d. Lý do: khi bạn cộng các số ngẫu nhiên độc lập, độ phân tán của chúng không cộng lại, bình phương của chúng mới cộng (các bình phương gọi là phương sai). d tích, mỗi tích có phương sai 1, cho phương sai d, nên độ phân tán là căn bậc hai của d. Với d = 64 đó là 8.
Các điểm trải trên cộng trừ 8 hoặc hơn làm softmax gần như one-hot: một trọng số gần 1, phần còn lại gần 0. Một softmax one-hot có gradient nhỏ xíu: độ dốc của mỗi đầu ra theo điểm của chính nó là p(1 - p), gần 0 khi p gần 0 hoặc 1 (bài học gradient softmax của Mô-đun 2 suy ra nó, và bài học lan truyền ngược qua attention của mô-đun này dùng nó), nên mô hình học chậm. Chia cho căn bậc hai của d đưa độ phân tán về khoảng 1, bất kể d là bao nhiêu.
Hãy dự đoán: khi d tăng từ 4 tới 256, điều gì xảy ra với trọng số lớn nhất, có và không có phép chia?
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
Điền my_guess. Rồi viết top_weight(d, scaled): 2.000 query ngẫu nhiên so với mỗi query 32 key ngẫu nhiên (số phân phối chuẩn, seed 0), trung bình của trọng số softmax lớn nhất. Điền measured.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.