المنهج الدراسي الدرس 202 من 250 · الضبط الدقيق، من الناحية المفاهيمية
الضبط الدقيق، من الناحية المفاهيمية

بناء أزواج تفضيلات DPO

تحتاج عملية الضبط الدقيق الخاضع للإشراف إلى إجابة نموذجية واحدة لكل مطالبة. ضبط التفضيلات (DPO) يحتاج إلى شيء مختلف وغالبا ما يكون أسهل في الجمع: للمطالبة نفسها، إجابة مختارة وإجابة مرفوضة، ويتعلم النموذج تفضيل الأولى. نادرا ما تتوفر لديك تلك الأزواج مباشرة، ولكن غالبا ما تتوفر لديك ترتيبات، وهي ترتيب بشري (أو نموذج حكم) لعدة إجابات مرشحة من الأفضل إلى الأسوأ. يحول هذا الدرس الترتيبات إلى بيانات زوجية يتدرب عليها DPO فعليا.

القاعدة بسيطة: إذا تم إدراج المرشحين بترتيب الأفضل أولا، فلكل زوج حيث يتقدم أحدهم على الآخر، يكون الأعلى ترتيبا هو chosen والأدنى هو rejected. إن قائمة مرتبة من مرشحي n تعطي n*(n-1)/2 أزواج تفضيل، لكل تركيبة مبكر مقابل متأخر:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

قم ببناء to_preference_pairs(prompt, ranked) التي تعيد قائمة من {"prompt", "chosen", "rejected"} dicts، واحد لكل زوج من المؤشرات i < j في ranked (لذا يتم اختيار ranked[i] بدلا من ranked[j])، بهذا الترتيب. إذا كان هناك أقل من مرشحين اثنين، تعيد قائمة فارغة (لا يوجد تفضيل للتعبير عنه). نفس prompt يظهر في كل زوج ليعرف المدرب السياق. اضغط Run لتوسيع ترتيب إلى أزواج تدريب.

دورك

اكتب to_preference_pairs(prompt, ranked) حيث ranked هي قائمة بالإجابات المرشحة مرتبة حسب الأفضل أولا. أعد قائمة من {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} لكل i < j (الرتب المختارة فوق المرفوضة)، بترتيب (i, j) تصاعدي. القائمة التي تحتوي على أقل من مرشحين تعيد [].

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.