Softmax و cross-entropy معاً
لماذا هذا مهم ينتهي كل مصنف في هذه الدورة بـ softmax بالإضافة إلى cross-entropy. تدرجهم المشترك هو أحد أكثر النتائج فائدة في التعلم العميق، وهو قصير.
أرقام صغيرة
Logits [2, 1, 0]، softmax [0.665, 0.245, 0.090]، الفئة الحقيقية 0 (one-hot [1, 0, 0]). تدرج الخسارة بالنسبة إلى logits هي ببساطة softmax ناقص one-hot: [-0.335, 0.245, 0.090]. بالكلمات: ارفع درجة الفئة الحقيقية بمقدار النقص فيها، واخفض كل درجة أخرى بمقدار الاحتمال الذي أخذته بشكل خاطئ.
One-hot: متجه من الأصفار مع رقم 1 واحد فقط عند الفئة الصحيحة.
لحساب الدفعة، احسب المتوسط عبر الصفوف: (softmax(Z) - onehot) / n.
ملخص Gradient = prediction minus truth، مرة أخرى.
الكلمات والرموز في هذا الدرس
- one-hot
- أصفار مع رقم 1 واحد في الفئة الحقيقية
- تحقق من التدرج
- مقارنة صيغة gradient الخاصة بك مع تقدير nudge-and-measure
اكتب loss_and_grad(Z, labels) الذي يعيد متوسط cross-entropy وتدرجه بالنسبة لـ Z (بشكل (batch, classes)). استخدم softmax مستقر. تحقق منه بنفسك باستخدام gradient checker الخاص بك قبل الإرسال.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.