سرفصل‌ها درس 68 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

یک توپ سنگین (تکانه)

چرا مهم است تکانه تنها مفیدترین راه‌حل برای دره‌های کشیده است و تقریباً هر بهینه‌سازی که به کار می‌برید آن را دارد.

اول آن را ببینید

پویانمایی را پخش کنید. نزول گرادیان ساده در عرض دره زیگزاگ می‌زند. یک توپ سنگین بخشی از سرعت قبلی‌اش را نگه می‌دارد: زیگزاگ‌ها همدیگر را خنثی می‌کنند (چپ، راست، چپ) در حالی که کشش پیوستهٔ رو به پایین در طول دره گام به گام جمع می‌شود. پس در طول کف دره شتاب می‌گیرد.

آن را نام ببرید

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

با beta = 0.9 توپ تقریباً 10 هل آخر را به یاد می‌آورد.

چرا نزول ساده اینجا کند است

روی این کاسه جهت تند 50 برابر تندتر از جهت ملایم است. نرخ یادگیری نزول ساده را جهت تند محدود می‌کند: بالای 2/50 = 0.04 گام‌ها در عرض دره رشد می‌کنند و منفجر می‌شود. درست زیر این سقف، در 0.039، در عرض دره زیگزاگ می‌زند (هر گام از هدف می‌گذرد و در طرف دیگر فرود می‌آید) در حالی که در طول آن می‌خزد، چون 0.039 نرخی ریز برای جهت ملایم است. تکانه می‌تواند از نرخ بزرگ‌تری استفاده کند و سرعتش را در طول دره نگه دارد: در جهت تند هم از هدف می‌گذرد، اما آن نوسان‌ها خنثی می‌شوند در حالی که هل‌ها در طول کف جمع می‌شوند.

(دقیقاً در lr = 1/50 = 0.02 اصلاً زیگزاگی نیست: یک گام روی کف دره فرود می‌آید و بقیه خزیدن آهسته است. امتحانش کنید.)

(صحنه دره‌ای ملایم‌تر، 25 برابر تندتر در عرض، با beta 0.5 رسم می‌کند تا مسیرهایش در صفحه جا شوند؛ اعداد این درس برای درهٔ 50 برابری است که کدش را می‌نویسید.)

تکانه: جمع جاری گرادیان‌های اخیر که زیگزاگ‌ها را هموار می‌کند و در جهت‌های پیوسته سرعت می‌سازد.

واژه‌ها و نمادهای این درس
تکانه (beta)
نگه داشتن بخشی از سرعت گام قبلی
نوبت شما

steps_plain(lr) و steps_momentum(lr, beta) را بنویسید: با شروع از (1, 1) روی کاسهٔ کشیده، گام‌ها را تا وقتی فاصله تا ته زیر 0.001 شود بشمارید (حداکثر 20,000). به هر کدام تنظیم خوب خودش را بدهید: نزول ساده در lr 0.039، درست زیر سقفش، و تکانه در lr 0.06 با beta 0.6. تکانه باید حداکثر به یک‌سوم گام‌ها نیاز داشته باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.