Xem: Trọng số attention
Bạn vừa cài đặt attention tích vô hướng có co giãn. Đây là thứ những ma trận đó thật sự làm. Attention cho mỗi từ nhìn vào mọi từ trong câu (kể cả chính nó), chấm điểm mỗi từ quan trọng đến đâu, và dựng lại chính nó như một hỗn hợp có trọng số của chúng.
Nhấn phát. Xem từ sat chú ý khắp the cat sat: điểm thô trở thành trọng số softmax có tổng bằng 1, đường dày nhất chỉ tới từ quan trọng nhất, và sat hấp thụ ngữ cảnh của nó, chủ yếu từ cat.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.