Silabus Pelajaran 202 dari 250 · Fine-Tuning, Secara Konsep
Fine-Tuning, Secara Konsep

Membangun Pasangan Preferensi DPO

Supervised fine-tuning butuh satu jawaban emas per prompt. Preference tuning (DPO) butuh sesuatu yang berbeda dan seringkali lebih mudah dikumpulkan: untuk prompt yang sama, satu jawaban chosen dan satu jawaban rejected, dan ia belajar untuk lebih memilih yang pertama. Kamu jarang punya pasangan itu secara langsung, tapi kamu sangat sering punya rankings, yaitu manusia (atau model juri) yang mengurutkan beberapa kandidat jawaban dari terbaik ke terburuk. Pelajaran ini mengubah ranking menjadi data pasangan yang sebenarnya dilatih oleh DPO.

Aturannya sederhana: jika kandidat dicantumkan berdasarkan urutan terbaik, maka untuk setiap pasangan di mana satu peringkat di atas yang lain, yang lebih tinggi adalah chosen dan yang lebih rendah adalah rejected. Daftar peringkat dari n kandidat menghasilkan n*(n-1)/2 pasangan preferensi, setiap kombinasi awal-vs-akhir:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Bangun to_preference_pairs(prompt, ranked) yang mengembalikan daftar {"prompt", "chosen", "rejected"} dicts, satu untuk setiap pasangan indeks i < j di ranked (jadi ranked[i] dipilih daripada ranked[j]), dalam urutan tersebut. Kurang dari dua kandidat menghasilkan daftar kosong (tidak ada preferensi untuk dinyatakan). prompt yang sama ada di setiap pasangan sehingga trainer tahu konteksnya. Tekan Run untuk memperluas ranking menjadi pasangan pelatihan.

Giliranku

Tulis to_preference_pairs(prompt, ranked) di mana ranked adalah daftar kandidat jawaban yang diurutkan terbaik-pertama. Kembalikan daftar {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} untuk setiap i < j (peringkat yang dipilih di atas yang ditolak), dalam urutan (i, j) yang meningkat. Daftar dengan kurang dari dua kandidat mengembalikan [].

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.