Bài kiểm tra vượt cấp: một transformer bị hỏng (tắt AI)
Vì sao điều này quan trọng Đây là cả một lượt lan truyền xuôi của GPT viết bằng bộ máy của khóa học, và nó có hai lỗi. Cả hai đều kinh điển, và mỗi lỗi riêng đã từng đánh lừa các đội thật.
Gia sư AI tắt. Một lỗi cho mô hình thấy các ký tự mà nó phải dự đoán. Lỗi kia làm chồng khối khó huấn luyện hơn nhiều. Hãy tìm và sửa cả hai.
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
Sửa logits. Thay đổi một ký tự không được làm thay đổi bất kỳ dự đoán nào cho các vị trí trước đó, và sau 200 bước giá trị mất mát trung bình trên 20 bước cuối phải dưới 2.65.
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.