Tercihleri öğretmek (DPO)
Neden önemli Sohbet modelleri yalnızca metin üzerinde eğitilmez; tercihler üzerinde ayarlanırlar: iki cevaptan insanların hangisini daha çok beğendiği. DPO (Rafailov vd. 2023) bunu doğrudan çiftlerden, tek bir kayıpla ve ayrı bir ödül modeli olmadan yapar. Aşırıya kaçmak da kolaydır.
Buradaki tercih temel modelin hiç kullanmadığı bir stil: kelimeleri alt çizgilerle birleştirmek ("snake_case konuşma"). Her çiftin ders metninden 20 karakterlik bir istemi, gerçek sonraki 10 karakteri (reddedilen) ve her boşluğu alt çizgi olarak yazılmış aynı 10'u (seçilen) var.
Bir çift için DPO kaybı, ayarlanmış modelin seçilen cevabı referans modelin yaptığından ne kadar daha olası yaptığını, reddedilen için aynısına karşı karşılaştırır:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta ayarlanmış modelin referansa ne kadar sıkı tutulduğunu belirler. Sonrasında iki ölçü: 60 yeni istemde alt çizgi olarak yazılmış kelime boşluklarının payı (stil), ve ayrılmış İngilizcede yalnızca harfleri, boşlukları değil sayan kayıp (hasar).
Bu dersteki kelimeler ve semboller
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
- rank (r)
- LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
- DPO
- doğrudan tercih optimizasyonu: daha iyi ve daha kötü bir cevaptan oluşan çiftlerden ayar yapmak
- referans model
- DPO'nun her değişikliği ona karşı ölçtüğü dondurulmuş model
- beta (DPO)
- ayarlanmış modelin referansa ne kadar sıkı tutulduğu
steps'i (en fazla 60) stil öğrenilecek (alt çizgi payı en az 0.8) ve yalnızca harf kaybı 2.6'nın altında kalacak (temel model yaklaşık 1.94 alıyor) şekilde seç. Birkaç değer dene.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.