Chương trình học Bài 209 trên tổng số 246 · Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp
Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp

Một ma trận lớn bị đóng băng cộng hai ma trận mỏng (Xem nó)

Vì sao điều này quan trọng LoRA (Hu và cộng sự 2021) là cách hầu hết các mô hình được tùy biến ngày nay, vì nó huấn luyện một phần nhỏ xíu các trọng số và để nguyên bản gốc. Ý tưởng vừa trong một bức hình.

Lấy một ma trận trọng số W, d_in nhân d_out. Đóng băng nó. Bên cạnh nó, đặt hai ma trận mỏng có thể huấn luyện: A (d_in nhân r) và B (r nhân d_out), với một hạng r nhỏ. Lớp tính

x W + (alpha / r) x A B

A B là một ma trận d_in nhân d_out đầy đủ, một thay đổi cho W, nhưng nó được dựng chỉ từ (d_in + d_out) x r con số. B bắt đầu ở không, nên lúc đầu mô hình đúng là bản gốc.

GPT có bốn ma trận trọng số trong mỗi khối trong 2 khối của nó: qkv (64 nhân 192), o (64 nhân 64), w1 (64 nhân 256) và w2 (256 nhân 64). Hãy xem cảnh, rồi đếm.

Từ và ký hiệu trong bài học này
LoRA
thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
hạng (r)
hai ma trận của LoRA mỏng tới đâu: (d_in + d_out) x r trọng số có thể huấn luyện cho mỗi ma trận
Đến lượt bạn

Viết lora_weights(shapes, r): số trọng số có thể huấn luyện mà LoRA thêm vào cho một list các shape (d_in, d_out) ở hạng r. Điền shapes với 8 ma trận đích của GPT, rồi gán counts cho các hạng 1, 4, 16 và 64, và overtakes: hạng nhỏ nhất trong số đó mà ở đó LoRA huấn luyện nhiều trọng số hơn cả mô hình (107.072).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.