تدرج softmax، وسبب إخفاء الخسارة له
لماذا هذا مهم تقع Softmax داخل attention، حيث نحتاج إلى تدرجها الخاص. عند دمجها مع cross-entropy تتحول إلى شيء بسيط جداً، ومعرفة السبب هي ما يجعلك تثق في النسخة البسيطة.
التدرج الكامل
لكل p = softmax(z)، تعتمد كل مخرجات على كل درجة. دفع zj يحرك pi بمقدار pi (1 - pi) من الدفعة عندما تكون i = j، وبمقدار - pi pj عندما لا تكون i هي j: رفع درجة واحدة يسحب الاحتمالية بعيدا عن جميع الدرجات الأخرى. كما في جدول واحد (مصفوفة Jacobian): diag(p) - p pT.
لا يقوم Backward أبدا ببناء ذلك الجدول. بمعادلة g = dL/dp، يكون التدرج بالنسبة لـ z هو p * (g - (g * p))، عنصرا بعنصر: كل pi مضروبا في مقدار تفوق g الخاصة به على المتوسط الموزون بالاحتمالية لـ g.
أرقام صغيرة
p = [0.5, 0.3, 0.2] و g = [1, 0, 0]. ثم g · p = 0.5، و dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. مجموع المدخلات يساوي 0: إضافة نفس الكمية إلى كل درجة لا يغير شيئا.
لماذا يجعل cross-entropy الأمر بسيطا
مع L = -log py، فإن g هي -1 / py عند الفئة الحقيقية و 0 في أي مكان آخر. ضع ذلك في p * (g - (g · p) وسيصبح p - onehot(y): وهي الصيغة التي استخدمتها Module 3. الشكل البسيط هو نفس التدرج هذا، وليس اختصاراً.
ملخص Softmax backward: p * (g - g · p). مع cross-entropy في الأعلى: p - onehot.
الكلمات والرموز في هذا الدرس
- softmax
- exp لكل درجة مقسومة على المجموع: تصبح الدرجات احتمالات
- cross-entropy
- ناقص لوغاريتم الاحتمال المعطى للإجابة الصحيحة
اكتب softmax_jacobian(z) (مصفوفة أحادية البعد من الدرجات كمدخل، وجدول (n, n) كمخرج) و softmax_backward(z, g) للمصفوفات ثنائية الأبعاد (صف واحد لكل مثال)، باستخدام p * (g - (g · p)) صفاً بصف، دون بناء الجدول. يختبر الاختبار المخفي كلاهما مقابل nudging ويتحقق من أنه مع g الخاص بـ cross-entropy تكون الإجابة p - onehot.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.