LayerNorm و RMSNorm
لماذا هذا مهم لا تستخدم Transformers عملية BatchNorm. فهي تقوم بتطبيع كل مثال على حدة، مما يتجنب فخ batch الذي واجهته للتو ويعمل مع أي batch size.
- LayerNorm يقوم بعملية التطبيع عبر ميزات كل مثال (كل صف): طرح متوسط الصف، القسمة على تشتت الصف، ثم تطبيق gamma و beta لكل ميزة. الأمر نفسه في التدريب والاستخدام.
- RMSNorm أبسط ويستخدمه العديد من نماذج اللغة الحديثة: تخطى المتوسط، وقسم كل صف على جذر متوسطه التربيعي،
sqrt(mean(x squared) + eps)، ثم اضرب في gamma.
أرقام صغيرة
Row [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. تعطي RMSNorm القيمة [0.849, 1.131]. تقوم LayerNorm بطرح المتوسط 3.5 أولا: [-1, 1].
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
- BatchNorm (gamma, beta)
- قم بتطبيع كل ميزة عبر الدفعة، ثم أعد القياس باستخدام gamma و beta المتعلمين
- LayerNorm, RMSNorm
- قم بتطبيع كل مثال على حدة عبر ميزاته
اكتب layernorm(X, gamma, beta, eps=1e-5) و rmsnorm(X, gamma, eps=1e-6)، كل منهما في سطر.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.