سرفصل‌ها درس 47 از 246 · ماژول 3: از نورون تا MLP
ماژول 3: از نورون تا MLP

softmax و آنتروپی متقاطع با هم

چرا مهم است هر طبقه‌بندی در این دوره با softmax به‌علاوهٔ آنتروپی متقاطع تمام می‌شود. گرادیان ترکیبی آن‌ها یکی از مفیدترین نتیجه‌ها در یادگیری عمیق است و کوتاه است.

اعداد کوچک

logitهای [2, 1, 0]، softmax برابر [0.665, 0.245, 0.090]، کلاس واقعی 0 (one-hot برابر [1, 0, 0]). گرادیان زیان نسبت به logitها به‌سادگی softmax منهای one-hot است: [-0.335, 0.245, 0.090]. به زبان ساده: امتیاز کلاس واقعی را به اندازهٔ کمبودش بالا ببرید و هر امتیاز دیگری را به اندازهٔ احتمالی که به‌اشتباه گرفته پایین بیاورید.

One-hot: برداری از صفرها با یک 1 تنها در کلاس واقعی.

برای یک دسته، روی ردیف‌ها میانگین بگیرید: (softmax(Z) - onehot) / n.

خلاصه گرادیان = پیش‌بینی منهای حقیقت، باز هم.

واژه‌ها و نمادهای این درس
one-hot
صفرها با یک 1 تنها در کلاس واقعی
بررسی گرادیان
مقایسهٔ فرمول گرادیان شما با برآوردی از جابه‌جایی و سنجش
نوبت شما

loss_and_grad(Z, labels) را بنویسید که میانگین آنتروپی متقاطع و گرادیانش نسبت به Z (با شکل (batch, classes)) را برمی‌گرداند. از یک softmax پایدار استفاده کنید. پیش از ارسال، خودتان آن را با بررسی‌کنندهٔ گرادیانتان بسنجید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.