Bài kiểm tra vượt cấp: một nhiệm vụ mới trong một ngân sách (tắt AI)
Vì sao điều này quan trọng Công việc thích nghi thật có một mục tiêu, một ngân sách và một thứ bạn không được làm hỏng. Cả ba, cùng lúc, một mình.
Luật của bài kiểm tra vượt cấp: gia sư AI tắt. Thích nghi GPT đã ghi lại với mã Python với nhiều nhất 60 bước huấn luyện, mỗi bước 8 cửa sổ. Mục tiêu trên một lần chạy mới (seed mới):
- giá trị mất mát mã giữ lại nhiều nhất 2.43 (mô hình gốc được 3.25);
- giá trị mất mát tiếng Anh giữ lại nhiều nhất 2.00 (mô hình gốc được 1.70);
Gán plan: phương pháp "full" hoặc "lora", hạng (cho LoRA, 1 tới 64), số bước và tốc độ học. Bài kiểm tra huấn luyện kế hoạch của bạn một lần trên một seed mới.
Từ và ký hiệu trong bài học này
- LoRA
- thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
- hạng (r)
- hai ma trận của LoRA mỏng tới đâu: (d_in + d_out) x r trọng số có thể huấn luyện cho mỗi ma trận
Điền plan.
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.