تطبيع الطبقة: إبقاء كل متجه في النطاق
لماذا هذا مهم حافظ Module 6 على صحة التنشيطات باستخدام batch norm، الذي يحسب المتوسط عبر الbatch. تختلف أطوال الbatches في النصوص ويقوم التوليد بتشغيل تسلسل واحد في كل مرة، لذا تقوم الtransformers بتطبيع متجه كل موضع بشكل مستقل: layer norm.
لمتجه واحد x مكون من d من الأرقام: اطرح المتوسط، واقسم على الانحراف المعياري (زائد قيمة epsilon صغيرة جدا، 1e-5، لضمان عدم القسمة على 0)، ثم قم بالتحجيم والإزاحة باستخدام g و b المتعلمين:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
يدخل متجه كل token إلى كل جزء من attention وكل جزء من feed-forward بمتوسط 0 وانتشار 1، مهما كان حجم المجموع التراكمي الذي نما.
الكلمات والرموز في هذا الدرس
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- طبقة التعيين
- قم بتطبيع كل متجه على حدة: المتوسط 0، والانتشار 1، ثم اضرب في g زائد b
اكتب layer_norm(x, g, b) لمصفوفة بأي شكل، مع التطبيع على طول المحور الأخير. يجب أن يتوافق مع layernorm.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.