سرفصل‌ها درس 59 از 246 · ماژول 4: موتور autograd خودتان
ماژول 4: موتور autograd خودتان

softmax و آنتروپی متقاطع در یک گام

چرا مهم است می‌توانستید softmax را از exp، sum و تقسیم بسازید، اما نتیجه کندتر است و می‌تواند سرریز کند. هر کتابخانهٔ واقعی softmax و آنتروپی متقاطع را در یک عملیات با همان گرادیان ساده‌ای که در ماژول 3 به دست آوردید ادغام می‌کند.

یک عملیات ادغام‌شده گذر رو به جلویش را یک‌جا محاسبه می‌کند (با جابه‌جایی بیشینه برای ایمنی) و یک قاعدهٔ رو به عقب دارد: (softmax - onehot) / n، ضرب در گرادیان رسیده. برای یک شبکه به relu هم نیاز دارید: گرادیان را جایی که ورودی مثبت بود عبور دهید.

خلاصه هر چه می‌توانید ادغام کنید؛ گرادیان ترکیبی ساده‌تر از اجزایش است.

واژه‌ها و نمادهای این درس
Tensor
اینجا: یک آرایه به‌علاوهٔ گرادیانش به‌علاوهٔ Tensorهایی که از آن‌ها آمده
.grad
گرادیان زیان نهایی نسبت به این Tensor
unbroadcast
جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
نوبت شما

relu و cross_entropy(labels) (روی یک Tensor با شکل (batch, classes) از logitها، که یک Tensor عددی برمی‌گرداند) را با قواعد رو به عقبشان بنویسید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.