مصفوفة كبيرة مجمدة بالإضافة إلى مصفوفتين نحيفتين (انظر إليها)
لماذا هذا مهم تقنية LoRA (Hu et al. 2021) هي الطريقة التي يتم بها تخصيص معظم النماذج اليوم، لأنها تدرب جزءا صغيرا جدا من الأوزان وتترك الأصل كما هو. الفكرة تتضح في صورة واحدة.
خذ مصفوفة أوزان W، بأبعاد d_in في d_out. قم بتجميدها. بجانبها، ضع مصفوفتين نحيفتين قابلتين للتدريب: A (d_in في r) و B (r في d_out)، برتبة rank صغيرة. تقوم الطبقة بحساب
x W + (alpha / r) x A B
A B مصفوفة كاملة بأبعاد d_in في d_out، وهي تغيير في W، ولكنها مبنية من (d_in + d_out) x r أرقام فقط. تبدأ B من الصفر، لذا يكون النموذج في البداية مطابقا للأصلي تماما.
يحتوي GPT على أربع مصفوفات أوزان في كل كتلة من كتلته الاثنين: qkv (64 في 192)، و o (64 في 64)، و w1 (64 في 256)، و w2 (256 في 64). شاهد المشهد، ثم قم بالعد.
الكلمات والرموز في هذا الدرس
- LoRA
- التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
- rank (r)
- كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
اكتب lora_weights(shapes, r): عدد الأوزان القابلة للتدريب التي يضيفها LoRA لقائمة من أشكال (d_in, d_out) عند الرتبة r. املأ shapes بمصفوفات الهدف الثمانية لـ GPT، ثم حدد counts للرتب 1، 4، 16 و64، وovertakes: أصغر تلك الرتب التي يدرب فيها LoRA أوزاناً أكثر من النموذج بأكمله (107,072).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.