المنهج الدراسي الدرس 216 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

اختيار طريقة ضمن ميزانية

لماذا هذا مهم كل method في هذا module هي الإجابة الصحيحة لسؤال مختلف. الاختيار بناء على الموضة يهدر المال؛ الاختيار بناء على القياسات هو المهم

ما قمت بقياسه، في مكان واحد:

  • الضبط الدقيق الكامل (200 خطوة): الكود 2.19، الإنجليزية 2.26. يدرب جميع الأوزان الـ 107,072؛ نسخة جديدة كاملة من النموذج للتخزين.
  • LoRA الرتبة 4: الكود 2.27، الإنجليزية 2.04. تدريبات 8,192؛ تخزن تلك فقط.
  • Distillation لطالب بعرض 16 (3000 خطوة): إنجليزي 1.98 عند حوالي 1/8 من الأوزان، مقابل 2.18 عند التدريب بمفرده.
  • Quantisation: 8 بت، ربع الحجم، لا تغيير؛ 4 بت، ثمن الحجم، +0.13.

لكل حالة، اختر الطريقة التي تدعمها القياسات.

الكلمات والرموز في هذا الدرس
ضبط دقيق
الاستمرار في تدريب نموذج مدرب على بيانات جديدة
LoRA
تكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
rank (r)
كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
distillation
تدريب طالب صغير لنسخ احتمالات معلم كبير كاملة
درجة الحرارة (التقطير)
قسمة الدرجات قبل softmax لكي تحسب الخيارات الثانية بشكل أكبر
quantisation
تخزين الأوزان في بتات أقل عن طريق تقريبها إلى خطوات قليلة
دورك

املأ choice بواحدة من "full fine-tune" أو "LoRA" أو "distillation" أو "quantisation" لكل حالة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.