Chương trình học Bài 202 trên tổng số 250 · Fine-tuning, về mặt khái niệm
Fine-tuning, về mặt khái niệm

Tạo các cặp sở thích cho DPO

Fine-tuning có giám sát cần một câu trả lời chuẩn cho mỗi prompt. Tinh chỉnh theo sở thích (DPO) cần thứ khác và thường dễ thu thập hơn: với cùng một prompt, một câu trả lời được chọn và một câu bị loại, và nó học cách ưu tiên cái đầu. Bạn hiếm khi có trực tiếp các cặp đó, nhưng rất thường có các bảng xếp hạng, một con người (hoặc một mô hình chấm điểm) sắp xếp vài câu trả lời ứng viên từ tốt nhất tới tệ nhất. Bài này biến các bảng xếp hạng thành dữ liệu từng cặp mà DPO thật sự huấn luyện.

Quy tắc đơn giản: nếu các ứng viên được liệt kê tốt nhất trước, thì với mỗi cặp mà một cái xếp trên cái kia, cái cao hơn là chosen và cái thấp hơn là rejected. Một list xếp hạng gồm n ứng viên cho ra n*(n-1)/2 cặp sở thích, mọi tổ hợp trước-với-sau:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Xây to_preference_pairs(prompt, ranked) trả về một list các dict {"prompt", "chosen", "rejected"}, một cái cho mỗi cặp chỉ số i < j trong ranked (nên ranked[i] được chọn hơn ranked[j]), theo thứ tự đó. Ít hơn hai ứng viên cho ra một list rỗng (không có sở thích nào để diễn đạt). Cùng một prompt đi kèm mọi cặp để bộ huấn luyện biết ngữ cảnh. Bấm Chạy để mở rộng một bảng xếp hạng thành các cặp huấn luyện.

Đến lượt bạn

Viết to_preference_pairs(prompt, ranked) trong đó ranked là một list các câu trả lời ứng viên sắp tốt nhất trước. Trả về một list các {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} cho mọi i < j (chosen xếp trên rejected), theo thứ tự (i, j) tăng dần. Một list có ít hơn hai ứng viên trả về [].

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.