سرفصل‌ها درس 36 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

گرادیان softmax، و چرا زیان آن را پنهان می‌کند

چرا مهم است softmax درون توجه (attention) می‌نشیند، جایی که گرادیانش به‌تنهایی لازم است. در ترکیب با آنتروپی متقاطع به چیزی بسیار ساده فرو می‌ریزد، و دانستن چرایی‌اش چیزی است که به شما اجازه می‌دهد به نسخهٔ ساده اعتماد کنید.

گرادیان کامل

برای p = softmax(z)، هر خروجی به هر امتیاز بستگی دارد. جابه‌جا کردن zj، pi را وقتی i = j به اندازهٔ pi (1 - pi) ضرب در جابه‌جایی، و وقتی i برابر j نیست به اندازهٔ - pi pj حرکت می‌دهد: بالا بردن یک امتیاز احتمال را از همهٔ دیگران دور می‌کشد. به‌صورت یک جدول (ژاکوبین): diag(p) - p pT.

گذر رو به عقب هرگز آن جدول را نمی‌سازد. با داشتن g = dL/dp، گرادیان نسبت به z برابر p * (g - (g · p))، قلم به قلم، است: هر pi ضرب در اینکه g خودش چقدر از میانگین وزنی-احتمالی g بیشتر است.

اعداد کوچک

p = [0.5, 0.3, 0.2] و g = [1, 0, 0]. آن‌گاه g · p = 0.5، و dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. جمع درایه‌ها 0 است: افزودن مقدار یکسان به هر امتیاز هیچ چیز را تغییر نمی‌دهد.

چرا آنتروپی متقاطع آن را ساده می‌کند

با L = -log py، g در کلاس واقعی برابر -1 / py و جای دیگر 0 است. آن را در p * (g - (g · p)) بگذارید و به p - onehot(y) تبدیل می‌شود: فرمولی که ماژول 3 به کار برد. شکل ساده همین گرادیان است، نه یک میان‌بر.

خلاصه گذر رو به عقب softmax: p * (g - g · p). با آنتروپی متقاطع روی آن: p - onehot.

واژه‌ها و نمادهای این درس
softmax
exp هر امتیاز تقسیم بر مجموع: امتیازها به احتمال تبدیل می‌شوند
آنتروپی متقاطع
منفی لگاریتم احتمالی که به پاسخ درست داده شده
نوبت شما

softmax_jacobian(z) (یک آرایهٔ یک‌بعدی از امتیازها ورودی، جدول (n, n) خروجی) و softmax_backward(z, g) را برای آرایه‌های دوبعدی (یک ردیف برای هر نمونه) بنویسید، با استفاده از p * (g - (g · p)) ردیف به ردیف، بدون ساختن جدول. آزمون پنهان هر دو را با جابه‌جایی بررسی می‌کند و بررسی می‌کند که با g آنتروپی متقاطع پاسخ p - onehot باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.