ساخت جفتهای ترجیح DPO
فاینتیونینگ تحت نظارت به ازای هر پرسش به یک پاسخ طلایی نیاز دارد. تنظیم ترجیح (DPO) به چیزی متفاوت و اغلب آسانتر برای جمعآوری نیاز دارد: برای یک پرسش مشخص، یک پاسخ انتخابشده و یک پاسخ ردشده، و این مدل یاد میگیرد که پاسخ اول را ترجیح دهد. به ندرت این جفتها را مستقیماً در اختیار دارید، اما اغلب رتبهبندیها را در اختیار دارید؛ انسانی (یا یک مدل داور) چندین پاسخ کاندیدا را از بهترین تا بدترین مرتب میکند. این درس رتبهبندیها را به دادههای جفتی تبدیل میکند که DPO در واقع بر اساس آنها آموزش میبیند.
قاعده ساده است: اگر کاندیداها از بهترین شروع شوند، آنگاه برای هر جفتی که یکی بالاتر از دیگری قرار دارد، مورد بالاتر chosen و مورد دوم است rejected. یک فهرست رتبهبندیشده از n جفتهای کاندیداها را تولید میکند n*(n-1)/2 جفتهای ترجیحی، هر ترکیب زودتر-در-مقابل-دیرتر:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsساخت to_preference_pairs(prompt, ranked) بازگرداندن یک لیست از {"prompt", "chosen", "rejected"} واژهنامهها، یکی برای هر جفت شاخص i < j در ranked (پس ranked[i] برگزیده میشود بر ranked[j])، به همان ترتیب. کمتر از دو کاندیدا، فهرستی خالی برمیگرداند (هیچ اولویتی برای بیان وجود ندارد). همین prompt روی هر جفت سوار میشود تا مربی از زمینه مطلع باشد. برای گسترش یک رتبهبندی به جفتهای آموزشی، دکمه Run را فشار دهید.
نوشتن to_preference_pairs(prompt, ranked) که ranked فهرستی از پاسخهای نامزد مرتبشده به صورت بهترین-ابتدا است. یک فهرست از {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} برای هر i < j (رتبههای انتخابشده بالاتر از ردشدهها)، به ترتیب صعودی (i, j). فهرستی با کمتر از دو نامزد، بازگردانده میشود [].
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.