LoRA، تم بناؤه
لماذا هذا مهم بناؤه مرة واحدة يجعل ثلاثة أشياء واضحة: لماذا يبدأ غير ضار، ولماذا تدرجاته رخيصة، ولماذا لا تتغير الأوزان الأصلية أبدا.
طبقة LoRA على محرك الدورة: التمرير الأمامي هو x W + (alpha / r) x A B، مع تجميد W. يحسب المحرك التدرجات لـ A وB بنفسه (وكذلك كان سيفعل محرك الوحدة 4 الخاص بك)؛ يجب فقط ألا تُحدَّث W، وهذا ما تتحقق منه.
الكلمات والرموز في هذا الدرس
- LoRA
- التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
اكتب lora_forward(x, W, A, B, alpha) باستخدام عمليات المحرك. ثم تحقق، في الطبقة الصغيرة في البداية: المخرجات تساوي x W بينما B تساوي صفر؛ بعد تمريرة خلفية واحدة، لا يتغير W ولكن A أو B يتغير؛ وتتطابق تدرجات A مع nudging. اضبط max_gap على أكبر فرق. يعمل المحرك بنظام float32، لذا استخدم nudge بقيمة h = 1e-3 أو أكثر: مع 1e-4 يضيع التغير في loss بسبب التقريب ويبدو التدرج الصحيح خاطئا.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.