المنهج الدراسي الدرس 83 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

LayerNorm و RMSNorm

لماذا هذا مهم لا تستخدم Transformers عملية BatchNorm. فهي تقوم بتطبيع كل مثال على حدة، مما يتجنب فخ batch الذي واجهته للتو ويعمل مع أي batch size.

  • LayerNorm يقوم بعملية التطبيع عبر ميزات كل مثال (كل صف): طرح متوسط الصف، القسمة على تشتت الصف، ثم تطبيق gamma و beta لكل ميزة. الأمر نفسه في التدريب والاستخدام.
  • RMSNorm أبسط ويستخدمه العديد من نماذج اللغة الحديثة: تخطى المتوسط، وقسم كل صف على جذر متوسطه التربيعي، sqrt(mean(x squared) + eps)، ثم اضرب في gamma.

أرقام صغيرة

Row [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. تعطي RMSNorm القيمة [0.849, 1.131]. تقوم LayerNorm بطرح المتوسط 3.5 أولا: [-1, 1].

الكلمات والرموز في هذا الدرس
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
BatchNorm (gamma, beta)
قم بتطبيع كل ميزة عبر الدفعة، ثم أعد القياس باستخدام gamma و beta المتعلمين
LayerNorm, RMSNorm
قم بتطبيع كل مثال على حدة عبر ميزاته
دورك

اكتب layernorm(X, gamma, beta, eps=1e-5) و rmsnorm(X, gamma, eps=1e-6)، كل منهما في سطر.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.