المنهج الدراسي الدرس 212 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

قم بضبط GPT بدقة على نصك الخاص

لماذا هذا مهم هذا هو الاستخدام اليومي: نموذج عام، نصك، ومحول رخيص. الاختبار هو ما إذا كان قد تعلم نصك واحتفظ بالباقي.

ضع نصك الخاص في my_text: ملاحظات، مقال، كود كتبته، على الأقل 5,000 حرف (الافتراضي هو جزء من حلول Python لكي يعمل الدرس كما هو معطى). يتم حذف الأحرف التي لم يرها النموذج من قبل. يتم الاحتفاظ بآخر 20% للاختبار عليها.

درّب LoRA، بالرتبة 8، لمدة 60 خطوة من 8 نوافذ. تنجح عندما يحرز الجزء المحجوز من نصك نتيجة أفضل بـ 0.3 على الأقل مما أحرزه النموذج الأساسي، وترتفع خسارة الإنجليزية بأقل من 0.5. للمقارنة، على النص الافتراضي: يرفع LoRA الإنجليزية بنحو 0.29، والضبط الدقيق الكامل بنحو 0.69، وكلاهما يتعلّم النص بالقدر نفسه تقريباً.

الكلمات والرموز في هذا الدرس
ضبط دقيق
الاستمرار في تدريب نموذج مدرب على بيانات جديدة
LoRA
low-rank adaptation: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
rank (r)
كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
دورك

املأ base_scores و tuned_scores: (خسارة اللغة الإنجليزية، الخسارة في الـ 20% المحجوزة من نصك) قبل وبعد تدريب نموذج LoRA.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.