Chương trình học Bài 215 trên tổng số 246 · Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp
Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp

Dạy sở thích (DPO)

Vì sao điều này quan trọng Các mô hình chat không chỉ được huấn luyện trên văn bản; chúng được tinh chỉnh theo sở thích: trong hai câu trả lời, câu nào được người ta thích hơn. DPO (Rafailov và cộng sự 2023) làm điều đó trực tiếp từ các cặp, với một giá trị mất mát và không có mô hình phần thưởng riêng. Nó cũng dễ bị làm quá tay.

Sở thích ở đây là một phong cách mà mô hình gốc không bao giờ dùng: nối các từ bằng dấu gạch dưới ("snake_case talk"). Mỗi cặp có một câu lệnh 20 ký tự từ văn bản bài học, 10 ký tự tiếp theo thật (bị từ chối) và cùng 10 ký tự đó với mọi dấu cách được viết thành dấu gạch dưới (được chọn).

Giá trị mất mát DPO cho một cặp so sánh mô hình được tinh chỉnh làm câu trả lời được chọn có khả năng hơn bao nhiêu so với mô hình tham chiếu, với điều tương tự cho câu bị từ chối:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta đặt mô hình được tinh chỉnh bị giữ gần mô hình tham chiếu chặt tới đâu. Hai phép đo sau đó: tỷ lệ khoảng trống giữa các từ được viết thành dấu gạch dưới trên 60 câu lệnh mới (phong cách), và giá trị mất mát trên tiếng Anh giữ lại chỉ tính các chữ cái, không tính khoảng trống (thiệt hại).

Từ và ký hiệu trong bài học này
LoRA
thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
hạng (r)
hai ma trận của LoRA mỏng tới đâu: (d_in + d_out) x r trọng số có thể huấn luyện cho mỗi ma trận
DPO
tối ưu sở thích trực tiếp: tinh chỉnh từ các cặp gồm một câu trả lời tốt hơn và một câu trả lời tệ hơn
mô hình tham chiếu
mô hình bị đóng băng mà DPO đo mọi thay đổi so với nó
beta (DPO)
mô hình được tinh chỉnh bị giữ gần mô hình tham chiếu chặt tới đâu
Đến lượt bạn

Chọn steps (nhiều nhất 60) để phong cách được học (tỷ lệ dấu gạch dưới ít nhất 0.8) trong khi giá trị mất mát chỉ tính chữ cái giữ dưới 2.6 (mô hình gốc được khoảng 1.94). Hãy thử vài giá trị.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.