المنهج الدراسي الدرس 34 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

تحويل الدرجات إلى احتمالات (softmax)

لماذا هذا مهم ينتهي مصنف الأرقام بـ 10 درجات خام، درجة واحدة لكل رقم. لقراءتها كـ "ما مدى احتمالية كل رقم"، يجب أن تكون موجبة ومجموعها يساوي 1.

أرقام صغيرة

Scores [2, 1, 0]. اجعلها موجبة باستخدام exp: حول [7.39, 2.72, 1.00]. اقسم على الإجمالي، 11.11: [0.665, 0.245, 0.090]. مجموعها يساوي 1، حافظ على نفس الترتيب، والدرجة الأعلى تعني دائما احتمالا أعلى.

Softmax: الأس exponent لكل score، مقسوما على مجموع كل الـ exps. Logits: الـ raw scores التي تدخل.

فخ

واحد: إضافة نفس الرقم إلى كل نتيجة لا يغير شيئا (لأنه يلغي في القسمة). جرب [1002, 1001, 1000]: نفس الإجابة كما في [2, 1, 0] على الورق، لكن exp(1002) يتسبب في تجاوز السعة على الكمبيوتر. ستصلح ذلك في gate.

خلاصة exp، ثم اقسم على الإجمالي.

الكلمات والرموز في هذا الدرس
softmax
exp لكل درجة مقسومة على المجموع: تصبح الدرجات احتمالات
دورك

اكتب softmax(z) لمصفوفة أحادية البعد (النسخة البسيطة مناسبة هنا)، و shift_invariant: اضبطها على True إذا كان إضافة نفس الرقم إلى كل درجة يترك المخرجات كما هي، أو False إذا كان يغيرها.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.