المنهج الدراسي الدرس 213 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

معلم كبير، طالب صغير (distillation)

لماذا هذا مهم النماذج الصغيرة رخيصة التشغيل. تقوم عملية Distillation (Hinton, Vinyals and Dean, 2015) بتدريب نموذج صغير لنسخ إجابات نموذج كبير كاملة، وليس فقط الإجابة الصحيحة: "ربما e، قد تكون a، بالتأكيد ليست z". تحمل تلك الإجابات الناعمة معلومات أكثر لكل مثال من النص وحده.

الطالب: نموذج GPT بعرض 16 (حوالي 8,000 وزن). المعلم: نموذج GPT بعرض 64. تدمج الخسارة جزأين: نصفها cross-entropy عادي مع النص، ونصفها cross-entropy مع احتمالات المعلم، وكلاهما يتم تنعيمهما بدرجة حرارة 2 لكي تحسب الخيارات الثانية للمعلم.

دربت الدورة الطالب بالطريقتين، و3 seeds، وسجلت English loss المستبعد عند 300 و1000 و3000 steps.

تنبؤ أول: عند 300 خطوة، هل يتفوق الطالب الذي تم تعليمه على الذي تدرب بمفرده؟ وعند 3000؟

الكلمات والرموز في هذا الدرس
LoRA
التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
distillation
تدريب طالب صغير لنسخ احتمالات معلم كبير كاملة
درجة الحرارة (التقطير)
قسمة الدرجات قبل softmax لكي تحسب الخيارات الثانية بشكل أكبر
دورك

اضبط guess لـ 300 و 3000 خطوة على "taught wins" أو "alone wins" أو "no clear difference". ثم املأ gap: لكل من 300 و 1000 و 3000 خطوة، احسب mean alone ناقص mean taught (القيمة الموجبة تعني أن distillation ساعدت)، واضبط verdict منها باستخدام القاعدة: الفجوة الأقل من 0.03 في كلا الاتجاهين هي no clear difference.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.