المنهج الدراسي الدرس 209 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

مصفوفة كبيرة مجمدة بالإضافة إلى مصفوفتين نحيفتين (انظر إليها)

لماذا هذا مهم تقنية LoRA (Hu et al. 2021) هي الطريقة التي يتم بها تخصيص معظم النماذج اليوم، لأنها تدرب جزءا صغيرا جدا من الأوزان وتترك الأصل كما هو. الفكرة تتضح في صورة واحدة.

خذ مصفوفة أوزان W، بأبعاد d_in في d_out. قم بتجميدها. بجانبها، ضع مصفوفتين نحيفتين قابلتين للتدريب: A (d_in في r) و B (r في d_out)، برتبة rank صغيرة. تقوم الطبقة بحساب

x W + (alpha / r) x A B

تعتبر

A B مصفوفة كاملة بأبعاد d_in في d_out، وهي تغيير في W، ولكنها مبنية من (d_in + d_out) x r أرقام فقط. تبدأ B من الصفر، لذا يكون النموذج في البداية مطابقا للأصلي تماما.

يحتوي GPT على أربع مصفوفات أوزان في كل كتلة من كتلته الاثنين: qkv (64 في 192)، و o (64 في 64)، و w1 (64 في 256)، و w2 (256 في 64). شاهد المشهد، ثم قم بالعد.

الكلمات والرموز في هذا الدرس
LoRA
التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
rank (r)
كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
دورك

اكتب lora_weights(shapes, r): عدد الأوزان القابلة للتدريب التي يضيفها LoRA لقائمة من أشكال (d_in, d_out) عند الرتبة r. املأ shapes بمصفوفات الهدف الثمانية لـ GPT، ثم حدد counts للرتب 1، 4، 16 و64، وovertakes: أصغر تلك الرتب التي يدرب فيها LoRA أوزاناً أكثر من النموذج بأكمله (107,072).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.