Chương trình học Bài 210 trên tổng số 246 · Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp
Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp

LoRA, tự dựng

Vì sao điều này quan trọng Tự dựng nó một lần làm ba điều trở nên hiển nhiên: vì sao lúc đầu nó vô hại, vì sao gradient của nó rẻ, và vì sao các trọng số gốc không bao giờ thay đổi.

Một lớp LoRA trên bộ máy của khóa học: lượt xuôi là x W + (alpha / r) x A B, với W bị đóng băng. Bộ máy tự tính gradient cho A và B (bộ máy Mô-đun 4 của bạn cũng vậy); W chỉ cần không được cập nhật, điều bạn sẽ kiểm tra.

Từ và ký hiệu trong bài học này
LoRA
thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
Đến lượt bạn

Viết lora_forward(x, W, A, B, alpha) bằng các phép toán của bộ máy. Rồi kiểm tra, trên lớp nhỏ trong mã khởi đầu: đầu ra bằng x W khi B bằng không; sau một lượt lan truyền ngược, W không có cập nhật nhưng A hoặc B thì có; và gradient của A khớp với phép đẩy nhẹ. Gán max_gap là hiệu lớn nhất. Bộ máy làm việc với float32, nên hãy đẩy nhẹ với h = 1e-3 hoặc lớn hơn: với 1e-4 thay đổi của giá trị mất mát bị mất do làm tròn và một gradient đúng trông như sai.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.