ما هو الحد الأدنى للنحافة؟ (rank)
لماذا هذا مهم رتبة Rank هي الإعداد الحقيقي الوحيد لـ LoRA. إذا كانت نحيفة جدا فإنه لا يمكنه تعلم المهمة الجديدة؛ وبعد نقطة معينة لا يضيفت زيادة الرتبة شيئا تقريبًا. موقع تلك النقطة يستحق التنبؤ به قبل دفع تكلفته.
دربت الدورة LoRA على الكود عند رتب من 1 إلى 64، والضبط الدقيق الكامل، 3 بذور لكل منها، 200 خطوة (adapt.recorded()). كل صف يحتوي على الرتبة، والأوزان القابلة للتدريب، وخسارة الكود (جديد) والخسارة الإنجليزية (قديم).
استدعِ المنحنى
قبل قراءتها، خمن خسارة الكود عند الرتب 1 و4 و16 و64. نقاط الارتكاز: قبل التدريب 3.25؛ الضبط الدقيق الكامل حوالي 2.19.
الكلمات والرموز في هذا الدرس
- ضبط دقيق
- الاستمرار في تدريب نموذج مدرب على بيانات جديدة
- LoRA
- التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
- rank (r)
- كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
املأ my_guess (أربع خسائر للكود)، ثم by_rank: للرتب 1 و4 و16 و64 و"full"، متوسط خسارة الكود ومتوسط خسارة الإنجليزية على البذور الثلاث. اضبط diminishing على True إذا كان الانتقال من الرتبة 16 إلى 64 يكسب أقل من ربع ما يكسبه الانتقال من 1 إلى 4.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.