Mặt nạ nhân quả: không nhìn trộm
Vì sao điều này quan trọng Một mô hình được huấn luyện để dự đoán ký tự tiếp theo không được thấy ký tự tiếp theo. Không có mặt nạ nó có thể đơn giản chép đáp án, trông tuyệt vời khi huấn luyện, rồi thất bại khi sinh văn bản, vì lúc sinh văn bản tương lai chưa tồn tại.
Xem nó
Hãy chạy hoạt ảnh. Vị trí i chỉ được chú ý tới các vị trí 0 tới i. Trước softmax, mọi điểm phía trên đường chéo được đặt thành trừ vô cùng, nên trọng số của nó trở thành đúng 0. Các trọng số khi đó tạo thành một tam giác dưới.
Bài kiểm tra rò rỉ rất trực tiếp: thay đổi một ký tự ở vị trí j, và không gì mô hình tính cho các vị trí trước j được phép thay đổi.
Khi khóa học huấn luyện một GPT độ rộng 32 trong 1.200 bước mà không có mặt nạ, giá trị mất mát huấn luyện của nó giảm xuống 0.10, so với 1.51 khi có mặt nạ: nó đã học cách chép đáp án từ vị trí kế tiếp, gần như hoàn hảo. Đo một cách trung thực, trên văn bản chưa thấy và không cho nó nhìn trước, giá trị mất mát của nó là 8.6 so với 2.3. Con số thấp hơn là một lời nói dối: mô hình tệ hơn nhiều. (Lúc đầu, ở 400 bước, hai lần chạy vẫn trông giống nhau, 2.28 so với 2.24. Việc chép cần một thời gian để được phát hiện, rồi nó chiếm lấy.)
Từ và ký hiệu trong bài học này
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- mặt nạ nhân quả
- các điểm phía trên đường chéo đặt thành trừ vô cùng: không vị trí nào thấy tương lai
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
Viết causal_attention(X, Wq, Wk, Wv) giống bài học 4 nhưng có mặt nạ. Rồi leaks(f): trả về True nếu thay đổi hàng cuối của một X ngẫu nhiên làm thay đổi bất kỳ hàng nào trước đó trong đầu ra của f. Ở đây f là bất kỳ hàm attention nào được gọi như hàm của bạn, f(X, Wq, Wk, Wv), trả về (output, weights); hãy tạo X và các trọng số ngẫu nhiên bên trong leaks.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.