softmax و آنتروپی متقاطع در یک گام
چرا مهم است میتوانستید softmax را از exp، sum و تقسیم بسازید، اما نتیجه کندتر است و میتواند سرریز کند. هر کتابخانهٔ واقعی softmax و آنتروپی متقاطع را در یک عملیات با همان گرادیان سادهای که در ماژول 3 به دست آوردید ادغام میکند.
یک عملیات ادغامشده گذر رو به جلویش را یکجا محاسبه میکند (با جابهجایی بیشینه برای ایمنی) و یک قاعدهٔ رو به عقب دارد: (softmax - onehot) / n، ضرب در گرادیان رسیده. برای یک شبکه به relu هم نیاز دارید: گرادیان را جایی که ورودی مثبت بود عبور دهید.
خلاصه هر چه میتوانید ادغام کنید؛ گرادیان ترکیبی سادهتر از اجزایش است.
واژهها و نمادهای این درس
- Tensor
- اینجا: یک آرایه بهعلاوهٔ گرادیانش بهعلاوهٔ Tensorهایی که از آنها آمده
- .grad
- گرادیان زیان نهایی نسبت به این Tensor
- unbroadcast
- جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
relu و cross_entropy(labels) (روی یک Tensor با شکل (batch, classes) از logitها، که یک Tensor عددی برمیگرداند) را با قواعد رو به عقبشان بنویسید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.