Softmax و cross-entropy في خطوة واحدة
لماذا هذا مهم يمكنك بناء softmax باستخدام exp و sum و divide، لكن النتيجة تكون أبطأ ويمكن أن تتسبب في overflow. كل مكتبة حقيقية تدمج softmax و cross-entropy في عملية واحدة مع الـ gradient البسيط الذي استنتجته في Module 3.
A اتجاهها الأمامي دفعة واحدة (مع max-shift للأمان) ولها قاعدة خلفية واحدة: (softmax - onehot) / n، مضروبة في التدرج الوارد. تحتاج أيضاً إلى relu لشبكة: تمرير التدرج عبر المكان الذي كان فيه المدخل موجباً.
ملخص ادمج ما يمكنك؛ التدرج المشترك أبسط من أجزائه.
الكلمات والرموز في هذا الدرس
- Tensor
- here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي أتت منها
- .grad
- تدرج الخسارة النهائية بالنسبة لهذا الـ Tensor
- unbroadcast
- إعادة تجميع التدرج إلى الشكل الذي تم شده منه
اكتب relu و cross_entropy(labels) (على Tensor من logits بأبعاد (batch, classes)، مع إرجاع Tensor قياسي) مع قواعد backward الخاصة بها.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.