softmax و آنتروپی متقاطع با هم
چرا مهم است هر طبقهبندی در این دوره با softmax بهعلاوهٔ آنتروپی متقاطع تمام میشود. گرادیان ترکیبی آنها یکی از مفیدترین نتیجهها در یادگیری عمیق است و کوتاه است.
اعداد کوچک
logitهای [2, 1, 0]، softmax برابر [0.665, 0.245, 0.090]، کلاس واقعی 0 (one-hot برابر [1, 0, 0]). گرادیان زیان نسبت به logitها بهسادگی softmax منهای one-hot است: [-0.335, 0.245, 0.090]. به زبان ساده: امتیاز کلاس واقعی را به اندازهٔ کمبودش بالا ببرید و هر امتیاز دیگری را به اندازهٔ احتمالی که بهاشتباه گرفته پایین بیاورید.
One-hot: برداری از صفرها با یک 1 تنها در کلاس واقعی.
برای یک دسته، روی ردیفها میانگین بگیرید: (softmax(Z) - onehot) / n.
خلاصه گرادیان = پیشبینی منهای حقیقت، باز هم.
واژهها و نمادهای این درس
- one-hot
- صفرها با یک 1 تنها در کلاس واقعی
- بررسی گرادیان
- مقایسهٔ فرمول گرادیان شما با برآوردی از جابهجایی و سنجش
loss_and_grad(Z, labels) را بنویسید که میانگین آنتروپی متقاطع و گرادیانش نسبت به Z (با شکل (batch, classes)) را برمیگرداند. از یک softmax پایدار استفاده کنید. پیش از ارسال، خودتان آن را با بررسیکنندهٔ گرادیانتان بسنجید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.