المنهج الدراسي الدرس 215 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

تفضيلات التعليم (DPO)

لماذا هذا مهم نماذج الدردشة لا يتم تدريبها على النصوص فقط؛ بل يتم ضبطها بناءً على التفضيلات: من بين إجابتين، أي واحدة فضلها الناس أكثر. تقوم تقنية DPO (Rafailov et al. 2023) بذلك مباشرة من الأزواج، باستخدام loss واحد وبدون نموذج reward منفصل. كما يمكن المبالغة فيها بسهولة.

التفضيل هنا هو أسلوب لا يستخدمه النموذج الأساسي أبدا وهو ربط الكلمات بشرطات سفلية ("snake_case talk"). كل زوج يحتوي على مطالبة مكونة من 20 حرفا من نص الدرس، والـ 10 أحرف التالية الحقيقية (مرفوضة) والـ 10 أحرف نفسها مع كتابة كل مسافة كشرطة سفلية (مختارة).

تقارن خسارة DPO لزوج واحد مدى زيادة احتمالية النموذج المعدل للإجابة المختارة مقارنة بالنموذج المرجعي، مقابل نفس الأمر للإجابة المرفوضة:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

يحدد

beta مدى قوة تثبيت النموذج المضبوط بالقرب من المرجع. هناك قياسان بعد ذلك: حصة فجوات الكلمات المكتوبة كشرطات سفلية في 60 مطالبة جديدة (الأسلوب)، والخسارة على البيانات المحجوزة باللغة الإنجليزية مع عد الحروف فقط وليس الفجوات (الضرر).

الكلمات والرموز في هذا الدرس
LoRA
التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
rank (r)
كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
DPO
تحسين التفضيل المباشر: الضبط من أزواج إجابة أفضل وإجابة أسوأ
نموذج مرجعي
يقيس النموذج المجمد DPO كل تغيير مقابل
beta (DPO)
مدى قرب النموذج المضبوط من المرجع
دورك

اختر steps (بحد أقصى 60) بحيث يتم تعلم النمط (مشاركة الخط السفلي 0.8 على الأقل) بينما يظل فقد الحروف فقط أقل من 2.6 (درجة النموذج الأساسي حوالي 1.94). جرب بعض القيم.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.