سرفصل‌ها درس 44 از 246 · ماژول 3: از نورون تا MLP
ماژول 3: از نورون تا MLP

فعال‌سازی‌ها: خم میان لایه‌ها

چرا مهم است بدون خمی میان لایه‌ها، ده لایه از یک لایه باهوش‌تر نیستند. انتخاب خم همچنین تعیین می‌کند آیا گرادیان‌ها می‌توانند جریان یابند.

سه فعال‌سازی که همه جا با آن‌ها روبه‌رو می‌شوید:

  • ReLU: max(0, z). ارزان، و شیبش برای ورودی‌های مثبت دقیقاً 1 است، پس گرادیان‌ها بدون تضعیف عبور می‌کنند. برای منفی‌ها شیب 0.
  • tanh: در بازهٔ -1 تا 1، با مرکز 0، می‌فشارد. در 0 شیب 1 دارد اما برای ورودی‌های بزرگ تقریباً 0: اشباع می‌شود.
  • GELU: یک ReLU هموار که در ترنسفورمرها به کار می‌رود، تقریباً z ضرب در sigmoid(1.702 z).

چرا شیب مهم است

پس‌انتشار در شیب هر فعال‌سازی ضرب می‌کند. شیبی نزدیک 0 (یک tanh اشباع‌شده، یا ReLU روی یک ورودی منفی) گرادیان را مسدود می‌کند. در ماژول 6 می‌بینید که این باعث شکست‌های واقعی آموزش می‌شود.

اشباع شدن: نشستن در بخشی تخت از منحنی، جایی که شیب، و بنابراین گرادیانی که از آن عبور می‌کند، تقریباً صفر است.

خلاصه یک فعال‌سازی خم می‌کند؛ شیبش تعیین می‌کند چقدر گرادیان به عقب جریان یابد.

واژه‌ها و نمادهای این درس
sigmoid
1 / (1 + exp(-z)): هر عددی را در بازهٔ 0 تا 1 می‌فشارد
ReLU
max(0, z): مثبت‌ها را نگه می‌دارد، منفی‌ها را صفر می‌کند
پس‌انتشار
قاعدهٔ زنجیره‌ای که رو به عقب اجرا می‌شود تا گرادیان هر وزن به دست آید
نوبت شما

هر فعال‌سازی و شیبش را بنویسید: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope، همه روی آرایه‌ها. از تقریب GELU یعنی z * sigmoid(1.702 z) استفاده کنید. شیب آن دو قاعده را با هم لازم دارد: قاعدهٔ ضرب (شیب u × v برابر u' × v + u × v' است) و قاعدهٔ زنجیره‌ای درون sigmoid (شیب sigmoid(1.702 z) برابر 1.702 × s(1 - s) است، با s = sigmoid(1.702 z)). برای شیب ReLU دقیقاً در 0، از 0 استفاده کنید. آزمون پنهان هر شیب را با یک جابه‌جایی بررسی می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.