امتیازها به احتمال (softmax)
چرا مهم است یک طبقهبند رقم با 10 امتیاز خام، یکی برای هر رقم، تمام میشود. برای خواندن آنها بهصورت «هر رقم چقدر محتمل است»، باید مثبت باشند و جمعشان 1 شود.
اعداد کوچک
امتیازهای [2, 1, 0]. با exp آنها را مثبت کنید: حدود [7.39, 2.72, 1.00]. بر مجموع، 11.11، تقسیم کنید: [0.665, 0.245, 0.090]. جمعشان 1 است، همان ترتیب را نگه میدارند و امتیاز بالاتر همیشه یعنی احتمال بالاتر.
Softmax: exp هر امتیاز، تقسیم بر جمع همهٔ expها. Logitها: امتیازهای خامی که وارد میشوند.
یک دام: افزودن یک عدد یکسان به هر امتیاز هیچ چیز را تغییر نمیدهد (در تقسیم حذف میشود). [1002, 1001, 1000] را امتحان کنید: روی کاغذ همان پاسخ [2, 1, 0]، اما exp(1002) روی کامپیوتر سرریز میکند. این را در دروازه درست میکنید.
خلاصه exp، سپس تقسیم بر مجموع.
واژهها و نمادهای این درس
- softmax
- exp هر امتیاز تقسیم بر مجموع: امتیازها به احتمال تبدیل میشوند
softmax(z) را برای یک آرایهٔ یکبعدی بنویسید (نسخهٔ ساده اینجا کافی است)، و shift_invariant: اگر افزودن یک عدد یکسان به هر امتیاز خروجی را همان نگه میدارد آن را True و اگر تغییرش میدهد False قرار دهید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.