DPO Tercih Çiftlerini Oluşturma
Denetimli ince ayar her istem için bir altın cevap gerektirir. Tercih ayarı (DPO) farklı ve genellikle toplanması daha kolay bir şey gerektirir: aynı istem için bir chosen cevabı ve bir rejected cevabı, ve model birincisini tercih etmeyi öğrenir. Bu çiftlere doğrudan nadiren sahip olursun, ama çok sık rankings, yani bir insanın (veya bir yargıç modelin) birkaç aday cevabı en iyiden en kötüye sıralamasına sahip olursun. Bu ders, sıralamaları DPO'nun aslında eğitildiği ikili verilere dönüştürür.
Kural basit: eğer adaylar en iyiden başlayarak sıralanmışsa, birinin diğerinden üstte olduğu her çift için, üstteki chosen ve alttaki rejected olur. n adaylarının sıralanmış listesi n*(n-1)/2 tercih çifti üretir, her önceki-sonraki kombinasyonu:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairs to_preference_pairs(prompt, ranked) döndüren bir liste oluştur, her bir {"prompt", "chosen", "rejected"} sözlüğü ranked içindeki her bir i < j indeks çifti için (yani ranked[i] ranked[j] yerine seçilir), o sırayla olsun. İkiden az aday boş bir liste döndürür (ifade edilecek bir tercih yok). Aynı prompt her çiftin üzerinde bulunur, böylece eğitici bağlamı bilir. Sıralamayı eğitim çiftlerine dönüştürmek için Run tuşuna bas.
ranked'nin en iyiden başlayarak sıralanmış aday cevaplar listesi olduğu to_preference_pairs(prompt, ranked)'yı yaz. Her i < j için (reddedilenlerin üzerindeki seçilen sıralar), artan (i, j) sırasıyla bir {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} listesi döndür. İkiden az aday içeren bir liste [] döndürür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.