Müfredat 250 dersinden 202. · İnce Ayar, Kavramsal Olarak
İnce Ayar, Kavramsal Olarak

DPO Tercih Çiftlerini Oluşturma

Denetimli ince ayar her istem için bir altın cevap gerektirir. Tercih ayarı (DPO) farklı ve genellikle toplanması daha kolay bir şey gerektirir: aynı istem için bir chosen cevabı ve bir rejected cevabı, ve model birincisini tercih etmeyi öğrenir. Bu çiftlere doğrudan nadiren sahip olursun, ama çok sık rankings, yani bir insanın (veya bir yargıç modelin) birkaç aday cevabı en iyiden en kötüye sıralamasına sahip olursun. Bu ders, sıralamaları DPO'nun aslında eğitildiği ikili verilere dönüştürür.

Kural basit: eğer adaylar en iyiden başlayarak sıralanmışsa, birinin diğerinden üstte olduğu her çift için, üstteki chosen ve alttaki rejected olur. n adaylarının sıralanmış listesi n*(n-1)/2 tercih çifti üretir, her önceki-sonraki kombinasyonu:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

to_preference_pairs(prompt, ranked) döndüren bir liste oluştur, her bir {"prompt", "chosen", "rejected"} sözlüğü ranked içindeki her bir i < j indeks çifti için (yani ranked[i] ranked[j] yerine seçilir), o sırayla olsun. İkiden az aday boş bir liste döndürür (ifade edilecek bir tercih yok). Aynı prompt her çiftin üzerinde bulunur, böylece eğitici bağlamı bilir. Sıralamayı eğitim çiftlerine dönüştürmek için Run tuşuna bas.

Senin sıran

ranked'nin en iyiden başlayarak sıralanmış aday cevaplar listesi olduğu to_preference_pairs(prompt, ranked)'yı yaz. Her i < j için (reddedilenlerin üzerindeki seçilen sıralar), artan (i, j) sırasıyla bir {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} listesi döndür. İkiden az aday içeren bir liste [] döndürür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.