Müfredat 246 dersinden 215. · Modül 20: Eğitilmiş bir modeli ucuza uyarlamak
Modül 20: Eğitilmiş bir modeli ucuza uyarlamak

Tercihleri öğretmek (DPO)

Neden önemli Sohbet modelleri yalnızca metin üzerinde eğitilmez; tercihler üzerinde ayarlanırlar: iki cevaptan insanların hangisini daha çok beğendiği. DPO (Rafailov vd. 2023) bunu doğrudan çiftlerden, tek bir kayıpla ve ayrı bir ödül modeli olmadan yapar. Aşırıya kaçmak da kolaydır.

Buradaki tercih temel modelin hiç kullanmadığı bir stil: kelimeleri alt çizgilerle birleştirmek ("snake_case konuşma"). Her çiftin ders metninden 20 karakterlik bir istemi, gerçek sonraki 10 karakteri (reddedilen) ve her boşluğu alt çizgi olarak yazılmış aynı 10'u (seçilen) var.

Bir çift için DPO kaybı, ayarlanmış modelin seçilen cevabı referans modelin yaptığından ne kadar daha olası yaptığını, reddedilen için aynısına karşı karşılaştırır:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta ayarlanmış modelin referansa ne kadar sıkı tutulduğunu belirler. Sonrasında iki ölçü: 60 yeni istemde alt çizgi olarak yazılmış kelime boşluklarının payı (stil), ve ayrılmış İngilizcede yalnızca harfleri, boşlukları değil sayan kayıp (hasar).

Bu dersteki kelimeler ve semboller
LoRA
düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
rank (r)
LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
DPO
doğrudan tercih optimizasyonu: daha iyi ve daha kötü bir cevaptan oluşan çiftlerden ayar yapmak
referans model
DPO'nun her değişikliği ona karşı ölçtüğü dondurulmuş model
beta (DPO)
ayarlanmış modelin referansa ne kadar sıkı tutulduğu
Senin sıran

steps'i (en fazla 60) stil öğrenilecek (alt çizgi payı en az 0.8) ve yalnızca harf kaybı 2.6'nın altında kalacak (temel model yaklaşık 1.94 alıyor) şekilde seç. Birkaç değer dene.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.