سرفصل‌ها درس 70 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

Adam: توپ به‌علاوهٔ پیچ‌ها

چرا مهم است Adam بهینه‌ساز پیش‌فرض بیشتر یادگیری‌های عمیق است. تکانه و RMSProp با هم است، به‌علاوهٔ یک تصحیح کوچک که در آغاز بسیار اهمیت دارد.

اول اعداد کوچک

یک وزن، beta1 = 0.9، beta2 = 0.999، lr = 0.1. گرادیان در گام 1 برابر 2.0 است. میانگین جاری گرادیان‌ها، m، از 0 شروع می‌کند: m = 0.9 * 0 + 0.1 * 2 = 0.2. اما گرادیان اخیر واقعی 2 است، نه 0.2: m به سوی صفر آغازینش سوگیری دارد. برای درست کردنش بر (1 - 0.9 به توان t) تقسیم کنید: 0.2 / 0.1 = 2.0. همان تصحیح برای میانگین مربعی v: 0.004 / 0.001 = 4.0. گام = 0.1 * 2 / sqrt(4) = 0.1.

بدون تصحیح اولین گام 0.1 * 0.2 / sqrt(0.004) = 0.32 می‌شد، بیش از سه برابر بزرگ، و در یک شبکهٔ واقعی آن گام‌های نخست وحشی می‌توانند آغاز آموزش را خراب کنند.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

تصحیح سوگیری: تقسیم بر (1 - beta به توان t) تا میانگین‌هایی که از صفر شروع کرده‌اند در گام‌های نخست کم‌برآورد نشوند. t گام‌ها را از 1 می‌شمارد.

واژه‌ها و نمادهای این درس
تکانه (beta)
نگه داشتن بخشی از سرعت گام قبلی
RMSProp
تقسیم گام هر وزن بر اینکه گرادیانش معمولاً چقدر بلند است
Adam (m, v, t)
تکانه (m) به‌علاوهٔ یک پیچ صدا برای هر وزن (v)، تصحیح‌شده برای گام‌های نخست (t)
نوبت شما

اول first_step_with و first_step_without را پر کنید: اندازهٔ گام 1 در مثال بالا، با و بدون تصحیح سوگیری. سپس کلاس Adam(lr, b1=0.9, b2=0.999, eps=1e-8) را با یک متد step(p, g) بنویسید که آرایهٔ پارامتر به‌روزشده را برمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.