AdamW: کاهش وزن بهدرستی
چرا مهم است بیشتر مدلهای بزرگ با AdamW آموزش داده میشوند، نه Adam. تفاوت یک خط است و آنچه «کاهش وزن» واقعاً انجام میدهد را تغییر میدهد.
کاهش وزن هر وزن را در هر گام کمی به سوی صفر میکشد، که وزنهای بزرگ را دلسرد میکند و معمولاً به مدل کمک میکند روی دادهٔ تازه کار کند.
- Adam با L2 پیش از مقیاسدهی Adam،
wd * pرا به گرادیان اضافه میکند. سپس Adam آن را بر پیچ صدا تقسیم میکند، پس وزنهایی با گرادیانهای بلند بهسختی کاهش مییابند. - AdamW به گرادیان دست نمیزند و وزن را مستقیماً کاهش میدهد:
p_new = p - lr * (adam_direction + wd * p)، کهpوزن پیش از این گام است. هر وزن به یک نسبت کاهش مییابد.
کاهش وزن جداشده: کوچک کردن مستقیم وزنها به جای از طریق گرادیان. این همان «W» در AdamW است.
واژهها و نمادهای این درس
- Adam (m, v, t)
- تکانه (m) بهعلاوهٔ یک پیچ صدا برای هر وزن (v)، تصحیحشده برای گامهای نخست (t)
- AdamW، کاهش وزن
- کوچک کردن مستقیم وزنها، کمی در هر گام
adam_l2_step(p, g, state, lr, wd) و adamw_step(p, g, state, lr, wd) را بنویسید. state دیکشنریای است که m، v و t را نگه میدارد (با یک دیکشنری خالی شروع کنید). از b1 = 0.9، b2 = 0.999، eps = 1e-8 استفاده کنید. هر کدام p تازه را برمیگرداند. برای AdamW بهروزرسانی p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p) است، با p وزن پیش از گام.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.