الإنتروبيا المتقاطعة هي احتمالية في شكل مستتر
لماذا هذا مهم يتم تدريب Classifiers باستخدام loss يسمى cross-entropy. قد يبدو جديدا، لكنه فكرة likelihood من درسين مضيا
أرقام صغيرة
يقول نموذجA إن احتمالات الأرقام 0 و1 و2 هي [0.665, 0.245, 0.090]. الرقم الحقيقي هو 0. ما مدى احتمالية الحقيقة التي توقعها النموذج؟ 0.665. تحت مبدأ الحد الأقصى للاحتمالية نريد ذلك الرقم كبيراً؛ وكخسارة نريد شيئاً صغيراً، لذا نأخذ سالب لوغاريتمه: -log(0.665) = 0.408.
لو كان الرقم الحقيقي هو 2، لكانت الخسارة -log(0.090) = 2.41: أعطى النموذج الحقيقة بنسبة 9% فقط، لذا يتم معاقبته بشدة. التنبؤ المثالي (احتمال 1) له خسارة 0.
خسارة Cross-entropy: طرح لوغاريتم احتمالية النموذج للإجابة الصحيحة، بمتوسط الأمثلة. هي بالضبط negative log-likelihood.
اختيار إدخال واحد لكل صف
مع الـ batch، تحتاج لكل صف إلى الاحتمال في العمود الحقيقي لذلك الصف. تقوم NumPy بذلك باستخدام مصفوفتي index بنفس الطول: probs[rows, cols] تختار probs[rows[0], cols[0]]، probs[rows[1], cols[1]] وهكذا. مع probs = [[0.7, 0.3], [0.2, 0.8]] و labels [0, 1]، probs[np.arange(2), labels] تعطي [0.7, 0.8]: الصف 0 العمود 0، ثم الصف 1 العمود 1. يسمى هذا fancy indexing.
معلم مفيد: النموذج الذي يخمن بشكل موحد عبر 10 فئات يعطي كل فئة 0.1، لذا فإن خسارته هي -log(0.1) = 2.30. يبدأ المصنف الجديد بالقرب من هناك.
ملخص Loss = -log(probability given to the truth).
الكلمات والرموز في هذا الدرس
- likelihood
- ما مدى احتمالية البيانات التي رأيتها تحت إعداد واحد للنموذج
- cross-entropy
- ناقص لوغاريتم الاحتمال المعطى للإجابة الصحيحة
اكتب cross_entropy(probs, labels): probs هي (batch, classes) للاحتمالات، labels تحتوي على الفئة الحقيقية لكل صف؛ أعد المتوسط لـ -log(احتمال الفئة الحقيقية). بدون حلقات. ثم اضبط uniform_10_loss على قيمة الخسارة لتخمين موحد عبر 10 فئات.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.