المنهج الدراسي الدرس 36 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

تدرج softmax، وسبب إخفاء الخسارة له

لماذا هذا مهم تقع Softmax داخل attention، حيث نحتاج إلى تدرجها الخاص. عند دمجها مع cross-entropy تتحول إلى شيء بسيط جداً، ومعرفة السبب هي ما يجعلك تثق في النسخة البسيطة.

التدرج الكامل

لكل p = softmax(z)، تعتمد كل مخرجات على كل درجة. دفع zj يحرك pi بمقدار pi (1 - pi) من الدفعة عندما تكون i = j، وبمقدار - pi pj عندما لا تكون i هي j: رفع درجة واحدة يسحب الاحتمالية بعيدا عن جميع الدرجات الأخرى. كما في جدول واحد (مصفوفة Jacobian): diag(p) - p pT.

لا يقوم Backward أبدا ببناء ذلك الجدول. بمعادلة g = dL/dp، يكون التدرج بالنسبة لـ z هو p * (g - (g * p))، عنصرا بعنصر: كل pi مضروبا في مقدار تفوق g الخاصة به على المتوسط الموزون بالاحتمالية لـ g.

أرقام صغيرة

p = [0.5, 0.3, 0.2] و g = [1, 0, 0]. ثم g · p = 0.5، و dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. مجموع المدخلات يساوي 0: إضافة نفس الكمية إلى كل درجة لا يغير شيئا.

لماذا يجعل cross-entropy الأمر بسيطا

مع L = -log py، فإن g هي -1 / py عند الفئة الحقيقية و 0 في أي مكان آخر. ضع ذلك في p * (g - (g · p) وسيصبح p - onehot(y): وهي الصيغة التي استخدمتها Module 3. الشكل البسيط هو نفس التدرج هذا، وليس اختصاراً.

ملخص Softmax backward: p * (g - g · p). مع cross-entropy في الأعلى: p - onehot.

الكلمات والرموز في هذا الدرس
softmax
exp لكل درجة مقسومة على المجموع: تصبح الدرجات احتمالات
cross-entropy
ناقص لوغاريتم الاحتمال المعطى للإجابة الصحيحة
دورك

اكتب softmax_jacobian(z) (مصفوفة أحادية البعد من الدرجات كمدخل، وجدول (n, n) كمخرج) و softmax_backward(z, g) للمصفوفات ثنائية الأبعاد (صف واحد لكل مثال)، باستخدام p * (g - (g · p)) صفاً بصف، دون بناء الجدول. يختبر الاختبار المخفي كلاهما مقابل nudging ويتحقق من أنه مع g الخاص بـ cross-entropy تكون الإجابة p - onehot.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.