المنهج الدراسي الدرس 35 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

الإنتروبيا المتقاطعة هي احتمالية في شكل مستتر

لماذا هذا مهم يتم تدريب Classifiers باستخدام loss يسمى cross-entropy. قد يبدو جديدا، لكنه فكرة likelihood من درسين مضيا

أرقام صغيرة

يقول نموذج

A إن احتمالات الأرقام 0 و1 و2 هي [0.665, 0.245, 0.090]. الرقم الحقيقي هو 0. ما مدى احتمالية الحقيقة التي توقعها النموذج؟ 0.665. تحت مبدأ الحد الأقصى للاحتمالية نريد ذلك الرقم كبيراً؛ وكخسارة نريد شيئاً صغيراً، لذا نأخذ سالب لوغاريتمه: -log(0.665) = 0.408.

لو كان الرقم الحقيقي هو 2، لكانت الخسارة -log(0.090) = 2.41: أعطى النموذج الحقيقة بنسبة 9% فقط، لذا يتم معاقبته بشدة. التنبؤ المثالي (احتمال 1) له خسارة 0.

خسارة Cross-entropy: طرح لوغاريتم احتمالية النموذج للإجابة الصحيحة، بمتوسط الأمثلة. هي بالضبط negative log-likelihood.

اختيار إدخال واحد لكل صف

مع الـ batch، تحتاج لكل صف إلى الاحتمال في العمود الحقيقي لذلك الصف. تقوم NumPy بذلك باستخدام مصفوفتي index بنفس الطول: probs[rows, cols] تختار probs[rows[0], cols[0]]، probs[rows[1], cols[1]] وهكذا. مع probs = [[0.7, 0.3], [0.2, 0.8]] و labels [0, 1]، probs[np.arange(2), labels] تعطي [0.7, 0.8]: الصف 0 العمود 0، ثم الصف 1 العمود 1. يسمى هذا fancy indexing.

معلم مفيد: النموذج الذي يخمن بشكل موحد عبر 10 فئات يعطي كل فئة 0.1، لذا فإن خسارته هي -log(0.1) = 2.30. يبدأ المصنف الجديد بالقرب من هناك.

ملخص Loss = -log(probability given to the truth).

الكلمات والرموز في هذا الدرس
likelihood
ما مدى احتمالية البيانات التي رأيتها تحت إعداد واحد للنموذج
cross-entropy
ناقص لوغاريتم الاحتمال المعطى للإجابة الصحيحة
دورك

اكتب cross_entropy(probs, labels): probs هي (batch, classes) للاحتمالات، labels تحتوي على الفئة الحقيقية لكل صف؛ أعد المتوسط لـ -log(احتمال الفئة الحقيقية). بدون حلقات. ثم اضبط uniform_10_loss على قيمة الخسارة لتخمين موحد عبر 10 فئات.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.