بناء أزواج تفضيلات DPO
تحتاج عملية الضبط الدقيق الخاضع للإشراف إلى إجابة نموذجية واحدة لكل مطالبة. ضبط التفضيلات (DPO) يحتاج إلى شيء مختلف وغالبا ما يكون أسهل في الجمع: للمطالبة نفسها، إجابة مختارة وإجابة مرفوضة، ويتعلم النموذج تفضيل الأولى. نادرا ما تتوفر لديك تلك الأزواج مباشرة، ولكن غالبا ما تتوفر لديك ترتيبات، وهي ترتيب بشري (أو نموذج حكم) لعدة إجابات مرشحة من الأفضل إلى الأسوأ. يحول هذا الدرس الترتيبات إلى بيانات زوجية يتدرب عليها DPO فعليا.
القاعدة بسيطة: إذا تم إدراج المرشحين بترتيب الأفضل أولا، فلكل زوج حيث يتقدم أحدهم على الآخر، يكون الأعلى ترتيبا هو chosen والأدنى هو rejected. إن قائمة مرتبة من مرشحي n تعطي n*(n-1)/2 أزواج تفضيل، لكل تركيبة مبكر مقابل متأخر:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsقم ببناء to_preference_pairs(prompt, ranked) التي تعيد قائمة من {"prompt", "chosen", "rejected"} dicts، واحد لكل زوج من المؤشرات i < j في ranked (لذا يتم اختيار ranked[i] بدلا من ranked[j])، بهذا الترتيب. إذا كان هناك أقل من مرشحين اثنين، تعيد قائمة فارغة (لا يوجد تفضيل للتعبير عنه). نفس prompt يظهر في كل زوج ليعرف المدرب السياق. اضغط Run لتوسيع ترتيب إلى أزواج تدريب.
اكتب to_preference_pairs(prompt, ranked) حيث ranked هي قائمة بالإجابات المرشحة مرتبة حسب الأفضل أولا. أعد قائمة من {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} لكل i < j (الرتب المختارة فوق المرفوضة)، بترتيب (i, j) تصاعدي. القائمة التي تحتوي على أقل من مرشحين تعيد [].
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.