Silabus Pelajaran 215 dari 246 · Modul 20: Mengadaptasi model yang sudah dilatih dengan murah
Modul 20: Mengadaptasi model yang sudah dilatih dengan murah

Preferensi pengajaran (DPO)

Kenapa ini penting Model Chat tidak hanya dilatih pada teks; mereka disesuaikan berdasarkan preferensi: dari dua jawaban, mana yang lebih disukai orang. DPO (Rafailov et al. 2023) melakukannya langsung dari pasangan, dengan satu loss dan tanpa reward model terpisah. Ini juga mudah dilakukan secara berlebihan.

Preferensinya di sini adalah gaya yang tidak pernah dipakai model dasar: menggabungkan kata dengan garis bawah ("snake_case talk"). Setiap pasang punya prompt 20 karakter dari teks pelajaran, 10 karakter berikutnya yang asli (ditolak) dan 10 karakter yang sama dengan setiap spasi ditulis sebagai garis bawah (dipilih).

Loss DPO untuk satu pasang membandingkan seberapa jauh model yang sudah di-tune membuat jawaban yang dipilih lebih mungkin muncul dibanding model referensi, dibandingkan dengan hal yang sama untuk jawaban yang ditolak:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta mengatur seberapa kuat model yang disesuaikan tetap dekat dengan referensi. Dua ukuran setelahnya: bagian dari celah kata yang ditulis sebagai garis bawah pada 60 prompt baru (gaya), dan loss pada held-out English yang hanya menghitung huruf, bukan celah (kerusakan).

Kata dan simbol di pelajaran ini
LoRA
low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
rank (r)
betapa tipisnya dua matriks LoRA: (d_in + d_out) x r bobot yang dapat dilatih per matriks
DPO
optimasi preferensi langsung: penyetelan dari pasangan jawaban yang lebih baik dan yang lebih buruk
model referensi
model DPO yang dibekukan mengukur setiap perubahan terhadap
beta (DPO)
seberapa jauh model yang sudah di-tune dari referensinya
Giliranku

Pilih steps (maksimal 60) supaya gayanya dipelajari (underscore share minimal 0.8) sementara letters-only loss tetap di bawah 2.6 (skor model dasar sekitar 1.94). Coba beberapa nilai.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.