Mỏng tới đâu là đủ? (hạng)
Vì sao điều này quan trọng Hạng là thiết lập thật sự duy nhất của LoRA. Quá mỏng thì nó không học được nhiệm vụ mới; quá một điểm nào đó, thêm hạng hầu như không mua được gì. Điểm đó nằm ở đâu là điều đáng dự đoán trước khi trả tiền cho nó.
Khóa học đã huấn luyện LoRA trên mã ở các hạng 1 tới 64, và tinh chỉnh toàn bộ, mỗi cấu hình 3 seed, 200 bước (adapt.recorded()). Mỗi hàng có hạng, số trọng số có thể huấn luyện, giá trị mất mát mã (mới) và giá trị mất mát tiếng Anh (cũ).
Đoán đường cong
Trước khi đọc chúng, hãy đoán giá trị mất mát mã ở các hạng 1, 4, 16 và 64. Các mốc: trước khi huấn luyện 3.25; tinh chỉnh toàn bộ khoảng 2.19.
Từ và ký hiệu trong bài học này
- tinh chỉnh
- tiếp tục huấn luyện một mô hình đã huấn luyện trên dữ liệu mới
- LoRA
- thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
- hạng (r)
- hai ma trận của LoRA mỏng tới đâu: (d_in + d_out) x r trọng số có thể huấn luyện cho mỗi ma trận
Điền my_guess (bốn giá trị mất mát mã), rồi by_rank: cho các hạng 1, 4, 16, 64 và "full", giá trị mất mát mã trung bình và giá trị mất mát tiếng Anh trung bình qua 3 seed. Gán diminishing là True nếu đi từ hạng 16 lên 64 được lợi ít hơn một phần tư so với đi từ 1 lên 4.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.