التنشيطات: الانحناء بين الطبقات
لماذا هذا مهم بدون انحناء بين الطبقات، عشر طبقات ليست أذكى من طبقة واحدة. اختيار الانحناء يحدد أيضاً ما إذا كانت التدرجات يمكن أن تتدفق
ستواجه ثلاث عمليات تفعيل في كل مكان:
- ReLU: max(0, z). رخيصة، وميلها يساوي بالضبط 1 للمدخلات الموجبة، لذا تمر التدرجات دون تخميد. الميل 0 للمدخلات السالبة.
- tanh: يضغط القيم إلى ما بين -1 و 1، ويكون المركز عند 0. الميل هو 1 عند 0 ولكنه يقترب من 0 للمدخلات الكبيرة: إنه saturates.
- GELU: دالة ReLU سلسة مستخدمة في الـ transformers، وهي تقريبًا z مضروبة في sigmoid(1.702 z).
لماذا يهم الميل
تضرب Backpropagation في ميل كل تنشيط. الميل القريب من 0 (مثل tanh المشبع، أو ReLU على مدخل سالب) يمنع التدرج. سترى أن ذلك يسبب إخفاقات تدريب حقيقية في Module 6.
Saturate: الجلوس في جزء مسطح من المنحنى، حيث يكون الميل، وبالتالي التدرج عبره، قريبا من الصفر.
خلاصة تنحني عملية التنشيط؛ ويحدد ميلها مقدار التدرج الذي يتدفق للخلف.
الكلمات والرموز في هذا الدرس
- sigmoid
- 1 / (1 + exp(-z)): يضغط أي رقم إلى ما بين 0 و 1
- ReLU
- max(0, z): يحتفظ بالموجب، ويحول السالب إلى صفر
- backpropagation
- يتم تشغيل قاعدة السلسلة بشكل عكسي للحصول على تدرج كل وزن
اكتب كل تفعيل وميله: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope، جميعها على المصفوفات. استخدم تقريب GELU z * sigmoid(1.702 z). يحتاج ميله إلى قاعدتين معاً: قاعدة الضرب (ميل u × v هو u' × v + u × v') وقاعدة السلسلة داخل sigmoid (ميل sigmoid(1.702 z) هو 1.702 × s(1 - s)، حيث s = sigmoid(1.702 z)). لميل ReLU عند الصفر تماماً، استخدم 0. يختبر الاختبار الخفي كل ميل مقابل دفعة بسيطة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.