المنهج الدراسي الدرس 59 من 246 · الوحدة 4: محرك autograd الخاص بك
الوحدة 4: محرك autograd الخاص بك

Softmax و cross-entropy في خطوة واحدة

لماذا هذا مهم يمكنك بناء softmax باستخدام exp و sum و divide، لكن النتيجة تكون أبطأ ويمكن أن تتسبب في overflow. كل مكتبة حقيقية تدمج softmax و cross-entropy في عملية واحدة مع الـ gradient البسيط الذي استنتجته في Module 3.

تحسب العملية المدمجة

A اتجاهها الأمامي دفعة واحدة (مع max-shift للأمان) ولها قاعدة خلفية واحدة: (softmax - onehot) / n، مضروبة في التدرج الوارد. تحتاج أيضاً إلى relu لشبكة: تمرير التدرج عبر المكان الذي كان فيه المدخل موجباً.

ملخص ادمج ما يمكنك؛ التدرج المشترك أبسط من أجزائه.

الكلمات والرموز في هذا الدرس
Tensor
here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي أتت منها
.grad
تدرج الخسارة النهائية بالنسبة لهذا الـ Tensor
unbroadcast
إعادة تجميع التدرج إلى الشكل الذي تم شده منه
دورك

اكتب relu و cross_entropy(labels) (على Tensor من logits بأبعاد (batch, classes)، مع إرجاع Tensor قياسي) مع قواعد backward الخاصة بها.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.