Một thầy lớn, một trò nhỏ (chưng cất)
Vì sao điều này quan trọng Các mô hình nhỏ chạy rẻ. Chưng cất (Hinton, Vinyals và Dean, 2015) huấn luyện một mô hình nhỏ sao chép đầy đủ các câu trả lời của một mô hình lớn, không chỉ đáp án đúng: "có lẽ là e, có thể là a, chắc chắn không phải z". Những câu trả lời mềm đó mang nhiều thông tin trên mỗi ví dụ hơn chỉ riêng văn bản.
Học trò: một GPT độ rộng 16 (khoảng 8.000 trọng số). Thầy: GPT độ rộng 64. Giá trị mất mát trộn hai phần: một nửa cross-entropy thông thường với văn bản, một nửa cross-entropy với các xác suất của thầy, cả hai được làm mềm bởi nhiệt độ 2 để các lựa chọn thứ hai của thầy được tính.
Khóa học đã huấn luyện học trò theo cả hai cách, 3 seed, và ghi lại giá trị mất mát tiếng Anh giữ lại ở 300, 1000 và 3000 bước.
Hãy dự đoán trước: ở 300 bước, học trò được dạy có thắng học trò tự học không? Còn ở 3000?
Từ và ký hiệu trong bài học này
- LoRA
- thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
- chưng cất
- huấn luyện một học trò nhỏ sao chép đầy đủ các xác suất của một thầy lớn
- nhiệt độ (chưng cất)
- chia các điểm số trước softmax để các lựa chọn thứ hai được tính nhiều hơn
Gán guess cho 300 và 3000 bước là "taught wins", "alone wins" hoặc "no clear difference". Rồi điền gap: cho mỗi mốc 300, 1000 và 3000 bước, trung bình tự học trừ trung bình được dạy (dương nghĩa là chưng cất đã giúp), và gán verdict từ nó theo quy tắc: một khoảng cách dưới 0.03 theo bất kỳ chiều nào là không khác biệt rõ ràng.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.