Dạy sở thích (DPO)
Vì sao điều này quan trọng Các mô hình chat không chỉ được huấn luyện trên văn bản; chúng được tinh chỉnh theo sở thích: trong hai câu trả lời, câu nào được người ta thích hơn. DPO (Rafailov và cộng sự 2023) làm điều đó trực tiếp từ các cặp, với một giá trị mất mát và không có mô hình phần thưởng riêng. Nó cũng dễ bị làm quá tay.
Sở thích ở đây là một phong cách mà mô hình gốc không bao giờ dùng: nối các từ bằng dấu gạch dưới ("snake_case talk"). Mỗi cặp có một câu lệnh 20 ký tự từ văn bản bài học, 10 ký tự tiếp theo thật (bị từ chối) và cùng 10 ký tự đó với mọi dấu cách được viết thành dấu gạch dưới (được chọn).
Giá trị mất mát DPO cho một cặp so sánh mô hình được tinh chỉnh làm câu trả lời được chọn có khả năng hơn bao nhiêu so với mô hình tham chiếu, với điều tương tự cho câu bị từ chối:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta đặt mô hình được tinh chỉnh bị giữ gần mô hình tham chiếu chặt tới đâu. Hai phép đo sau đó: tỷ lệ khoảng trống giữa các từ được viết thành dấu gạch dưới trên 60 câu lệnh mới (phong cách), và giá trị mất mát trên tiếng Anh giữ lại chỉ tính các chữ cái, không tính khoảng trống (thiệt hại).
Từ và ký hiệu trong bài học này
- LoRA
- thích nghi hạng thấp: một ma trận trọng số bị đóng băng cộng hai ma trận mỏng có thể huấn luyện, x W + (alpha / r) x A B
- hạng (r)
- hai ma trận của LoRA mỏng tới đâu: (d_in + d_out) x r trọng số có thể huấn luyện cho mỗi ma trận
- DPO
- tối ưu sở thích trực tiếp: tinh chỉnh từ các cặp gồm một câu trả lời tốt hơn và một câu trả lời tệ hơn
- mô hình tham chiếu
- mô hình bị đóng băng mà DPO đo mọi thay đổi so với nó
- beta (DPO)
- mô hình được tinh chỉnh bị giữ gần mô hình tham chiếu chặt tới đâu
Chọn steps (nhiều nhất 60) để phong cách được học (tỷ lệ dấu gạch dưới ít nhất 0.8) trong khi giá trị mất mát chỉ tính chữ cái giữ dưới 2.6 (mô hình gốc được khoảng 1.94). Hãy thử vài giá trị.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.