Vị trí dưới dạng sóng
Vì sao điều này quan trọng Vector vị trí đã học dừng lại ở văn bản dài nhất thấy được khi huấn luyện. Transformer gốc dùng các sóng cố định thay vào đó, thứ cho mỗi vị trí một khuôn mẫu duy nhất và làm "cách nhau 3 bước" trông như nhau ở bất kỳ đâu nó xảy ra.
Với vị trí p và chỉ số cặp i (0, 1, 2, ...), với tổng cộng d con số:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
Cặp đầu tiên là một sóng nhanh, các cặp sau chậm dần, giống các kim đồng hồ: giây, phút, giờ. Cùng nhau chúng cho mỗi vị trí một số đọc riêng biệt.
Tính chất hữu ích: tích vô hướng PE[p] . PE[p + k] chỉ phụ thuộc vào k, khoảng cách, không phụ thuộc vào p. (Mỗi cặp đóng góp cos của hiệu góc, theo đẳng thức sin a sin b + cos a cos b = cos(a - b).)
Lĩnh vực này hiện đang ở đâu Hầu hết các mô hình ngôn ngữ mở ngày nay không dùng sóng cộng vào đầu vào cũng không dùng vector vị trí đã học. RoPE (rotary position embedding, Su và cộng sự 2021) xoay mỗi vector query và key một góc tăng theo vị trí của nó, sau các phép chiếu query và key, để điểm giữa hai vị trí chỉ phụ thuộc vào chúng cách nhau bao xa. ALiBi (Press và cộng sự 2021) không cộng vector vị trí nào cả: nó trừ khỏi mỗi điểm attention một mức phạt tăng theo khoảng cách. Cả hai chuyển sang văn bản dài hơn văn bản huấn luyện tốt hơn. Các sóng ở đây là lựa chọn của transformer gốc và dễ nhìn thấy nhất.
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- vector vị trí
- được cộng vào mỗi token để attention có thể phân biệt thứ tự
Viết positions(n, d) trả về một array n nhân d. Rồi gán same_distance là hiệu lớn nhất giữa các PE[p] . PE[p + 5] với p = 0 tới 50 (nó về cơ bản nên bằng 0).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.