المنهج الدراسي الدرس 47 من 246 · الوحدة 3: من Neuron إلى MLP
الوحدة 3: من Neuron إلى MLP

Softmax و cross-entropy معاً

لماذا هذا مهم ينتهي كل مصنف في هذه الدورة بـ softmax بالإضافة إلى cross-entropy. تدرجهم المشترك هو أحد أكثر النتائج فائدة في التعلم العميق، وهو قصير.

أرقام صغيرة

Logits [2, 1, 0]، softmax [0.665, 0.245, 0.090]، الفئة الحقيقية 0 (one-hot [1, 0, 0]). تدرج الخسارة بالنسبة إلى logits هي ببساطة softmax ناقص one-hot: [-0.335, 0.245, 0.090]. بالكلمات: ارفع درجة الفئة الحقيقية بمقدار النقص فيها، واخفض كل درجة أخرى بمقدار الاحتمال الذي أخذته بشكل خاطئ.

One-hot: متجه من الأصفار مع رقم 1 واحد فقط عند الفئة الصحيحة.

لحساب الدفعة، احسب المتوسط عبر الصفوف: (softmax(Z) - onehot) / n.

ملخص Gradient = prediction minus truth، مرة أخرى.

الكلمات والرموز في هذا الدرس
one-hot
أصفار مع رقم 1 واحد في الفئة الحقيقية
تحقق من التدرج
مقارنة صيغة gradient الخاصة بك مع تقدير nudge-and-measure
دورك

اكتب loss_and_grad(Z, labels) الذي يعيد متوسط cross-entropy وتدرجه بالنسبة لـ Z (بشكل (batch, classes)). استخدم softmax مستقر. تحقق منه بنفسك باستخدام gradient checker الخاص بك قبل الإرسال.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.