Membangun Pasangan Preferensi DPO
Supervised fine-tuning butuh satu jawaban emas per prompt. Preference tuning (DPO) butuh sesuatu yang berbeda dan seringkali lebih mudah dikumpulkan: untuk prompt yang sama, satu jawaban chosen dan satu jawaban rejected, dan ia belajar untuk lebih memilih yang pertama. Kamu jarang punya pasangan itu secara langsung, tapi kamu sangat sering punya rankings, yaitu manusia (atau model juri) yang mengurutkan beberapa kandidat jawaban dari terbaik ke terburuk. Pelajaran ini mengubah ranking menjadi data pasangan yang sebenarnya dilatih oleh DPO.
Aturannya sederhana: jika kandidat dicantumkan berdasarkan urutan terbaik, maka untuk setiap pasangan di mana satu peringkat di atas yang lain, yang lebih tinggi adalah chosen dan yang lebih rendah adalah rejected. Daftar peringkat dari n kandidat menghasilkan n*(n-1)/2 pasangan preferensi, setiap kombinasi awal-vs-akhir:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsBangun to_preference_pairs(prompt, ranked) yang mengembalikan daftar {"prompt", "chosen", "rejected"} dicts, satu untuk setiap pasangan indeks i < j di ranked (jadi ranked[i] dipilih daripada ranked[j]), dalam urutan tersebut. Kurang dari dua kandidat menghasilkan daftar kosong (tidak ada preferensi untuk dinyatakan). prompt yang sama ada di setiap pasangan sehingga trainer tahu konteksnya. Tekan Run untuk memperluas ranking menjadi pasangan pelatihan.
Tulis to_preference_pairs(prompt, ranked) di mana ranked adalah daftar kandidat jawaban yang diurutkan terbaik-pertama. Kembalikan daftar {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} untuk setiap i < j (peringkat yang dipilih di atas yang ditolak), dalam urutan (i, j) yang meningkat. Daftar dengan kurang dari dua kandidat mengembalikan [].
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.