Nhiều head, cùng chi phí
Vì sao điều này quan trọng Một khuôn mẫu attention mỗi lớp là hạn chế: một vị trí có thể muốn nhìn vào ký tự trước đó và, cùng lúc, vào đầu của từ. Multi-head attention chạy vài attention nhỏ hơn cạnh nhau.
Xem nó
Hãy chạy hoạt ảnh. Chia d cột của Q, K và V thành H nhóm mỗi nhóm d / H. Mỗi nhóm (một head) làm attention riêng của nó với khuôn mẫu riêng. Dán H đầu ra trở lại cạnh nhau thành d cột, rồi trộn chúng bằng một ma trận nữa Wo.
Chi phí: cùng các ma trận như một head lớn, chỉ bị cắt thành từng mảnh, nên số tham số không thay đổi. Mỗi head hẹp hơn, nên nó chia cho căn bậc hai của d / H.
Từ và ký hiệu trong bài học này
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
Viết multi_head(X, Wq, Wk, Wv, Wo, H) (không có mặt nạ), trả về đầu ra và một list H ma trận attention.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.