المنهج الدراسي الدرس 217 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

بوابة: مهمة جديدة بميزانية محددة (AI off)

لماذا هذا مهم عمل التكيف الحقيقي له هدف، وميزانية، وشيء يجب ألا تكسره. الثلاثة معاً، في وقت واحد، بمفردهم.

قواعد

Gate: إيقاف المعلم الآلي. قم بتكييف GPT المسجل مع كود Python بحد أقصى 60 خطوة تدريب لكل منها 8 نوافذ. الأهداف في تشغيل جديد (بذرة جديدة):

    خسارة الكود المستبعد في أقصى حد 2.43 (الدرجة الأساسية 3.25)؛
  • خسارة
  • held-out باللغة الإنجليزية لا تتجاوز 2.00 (الدرجة الأساسية هي 1.70)؛

Set plan: method "full" أو "lora"، والrank (لـ LoRA، من 1 إلى 64)، وsteps، وlearning rate. يقومت check بتدريب خطتك مرة واحدة على seed جديد.

الكلمات والرموز في هذا الدرس
LoRA
التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
rank (r)
كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
دورك

املأ

plan.

إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.