Chương trình học Bài 108 trên tổng số 250 · Trực giác về mạng nơ-ron, LLM và dự án cuối về AI
Trực giác về mạng nơ-ron, LLM và dự án cuối về AI

Xem: Trọng số attention

Bạn vừa cài đặt attention tích vô hướng có co giãn. Đây là thứ những ma trận đó thật sự làm. Attention cho mỗi từ nhìn vào mọi từ trong câu (kể cả chính nó), chấm điểm mỗi từ quan trọng đến đâu, và dựng lại chính nó như một hỗn hợp có trọng số của chúng.

Nhấn phát. Xem từ sat chú ý khắp the cat sat: điểm thô trở thành trọng số softmax có tổng bằng 1, đường dày nhất chỉ tới từ quan trọng nhất, và sat hấp thụ ngữ cảnh của nó, chủ yếu từ cat.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.