المنهج الدراسي الدرس 211 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

ما هو الحد الأدنى للنحافة؟ (rank)

لماذا هذا مهم رتبة Rank هي الإعداد الحقيقي الوحيد لـ LoRA. إذا كانت نحيفة جدا فإنه لا يمكنه تعلم المهمة الجديدة؛ وبعد نقطة معينة لا يضيفت زيادة الرتبة شيئا تقريبًا. موقع تلك النقطة يستحق التنبؤ به قبل دفع تكلفته.

دربت الدورة LoRA على الكود عند رتب من 1 إلى 64، والضبط الدقيق الكامل، 3 بذور لكل منها، 200 خطوة (adapt.recorded()). كل صف يحتوي على الرتبة، والأوزان القابلة للتدريب، وخسارة الكود (جديد) والخسارة الإنجليزية (قديم).

استدعِ المنحنى

قبل قراءتها، خمن خسارة الكود عند الرتب 1 و4 و16 و64. نقاط الارتكاز: قبل التدريب 3.25؛ الضبط الدقيق الكامل حوالي 2.19.

الكلمات والرموز في هذا الدرس
ضبط دقيق
الاستمرار في تدريب نموذج مدرب على بيانات جديدة
LoRA
التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
rank (r)
كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
دورك

املأ my_guess (أربع خسائر للكود)، ثم by_rank: للرتب 1 و4 و16 و64 و"full"، متوسط خسارة الكود ومتوسط خسارة الإنجليزية على البذور الثلاث. اضبط diminishing على True إذا كان الانتقال من الرتبة 16 إلى 64 يكسب أقل من ربع ما يكسبه الانتقال من 1 إلى 4.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.