اختيار طريقة ضمن ميزانية
لماذا هذا مهم كل method في هذا module هي الإجابة الصحيحة لسؤال مختلف. الاختيار بناء على الموضة يهدر المال؛ الاختيار بناء على القياسات هو المهم
ما قمت بقياسه، في مكان واحد:
- الضبط الدقيق الكامل (200 خطوة): الكود 2.19، الإنجليزية 2.26. يدرب جميع الأوزان الـ 107,072؛ نسخة جديدة كاملة من النموذج للتخزين.
- LoRA الرتبة 4: الكود 2.27، الإنجليزية 2.04. تدريبات 8,192؛ تخزن تلك فقط.
- Distillation لطالب بعرض 16 (3000 خطوة): إنجليزي 1.98 عند حوالي 1/8 من الأوزان، مقابل 2.18 عند التدريب بمفرده.
- Quantisation: 8 بت، ربع الحجم، لا تغيير؛ 4 بت، ثمن الحجم، +0.13.
لكل حالة، اختر الطريقة التي تدعمها القياسات.
الكلمات والرموز في هذا الدرس
- ضبط دقيق
- الاستمرار في تدريب نموذج مدرب على بيانات جديدة
- LoRA
- تكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
- rank (r)
- كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
- distillation
- تدريب طالب صغير لنسخ احتمالات معلم كبير كاملة
- درجة الحرارة (التقطير)
- قسمة الدرجات قبل softmax لكي تحسب الخيارات الثانية بشكل أكبر
- quantisation
- تخزين الأوزان في بتات أقل عن طريق تقريبها إلى خطوات قليلة
املأ choice بواحدة من "full fine-tune" أو "LoRA" أو "distillation" أو "quantisation" لكل حالة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.