Chương trình học Bài 158 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Bài kiểm tra vượt cấp: một transformer bị hỏng (tắt AI)

Vì sao điều này quan trọng Đây là cả một lượt lan truyền xuôi của GPT viết bằng bộ máy của khóa học, và nó có hai lỗi. Cả hai đều kinh điển, và mỗi lỗi riêng đã từng đánh lừa các đội thật.

Gia sư AI tắt. Một lỗi cho mô hình thấy các ký tự mà nó phải dự đoán. Lỗi kia làm chồng khối khó huấn luyện hơn nhiều. Hãy tìm và sửa cả hai.

Từ và ký hiệu trong bài học này
query, key, value
điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
head
một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
Đến lượt bạn

Sửa logits. Thay đổi một ký tự không được làm thay đổi bất kỳ dự đoán nào cho các vị trí trước đó, và sau 200 bước giá trị mất mát trung bình trên 20 bước cuối phải dưới 2.65.

Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.