سرفصل‌ها درس 65 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

چرا یک کاسهٔ کشیده کند است (وضعیت‌مندی)

چرا مهم است چشم‌اندازهای زیان واقعی در بعضی جهت‌ها تند و در بعضی تقریباً تخت‌اند. همین ناهمخوانی، نه تعداد وزن‌ها، است که نزول گرادیان ساده را کند می‌کند.

آن را ببینید

f = (k x squared + y squared) / 2 را در نظر بگیرید. با k = 1 یک کاسهٔ گرد است. با k = 100 یک درهٔ دراز و باریک است: در عرض تند، در طول ملایم. نرخ یادگیری باید با هم برای هر دو جهت مناسب باشد. بهترین انتخاب تنها، lr = 2 / (k + 1)، باعث می‌شود هر گام (k - 1) / (k + 1) از فاصله را در هر دو جهت نگه دارد: وقتی k = 100 است 0.98 آن را. هر چه بزرگ‌تر، جهت تند از هدف می‌گذرد و آهسته‌تر می‌نشیند (بالای 2 / k بی‌حد رشد می‌کند)؛ هر چه کوچک‌تر، جهت ملایم حتی آهسته‌تر می‌خزد. پس راه رفتن در عرض دره زیگزاگ می‌زند در حالی که در طول آن می‌خزد.

عدد وضعیت: نسبت تندترین به ملایم‌ترین انحنا، اینجا k. نزول گرادیان ساده برای پیشرفت خوب تقریباً k گام لازم دارد.

پیش‌بینی منحنی: پیش از اجرا، پیش‌بینی کنید برای k = 1، 10 و 100، با بهترین نرخ یادگیری ثابت، 2 / (k + 1)، چند گام طول می‌کشد تا در فاصلهٔ 0.001 از ته برسید.

خلاصه کشیدگی نزول ساده را به نسبت کشیدگی کند می‌کند.

واژه‌ها و نمادهای این درس
عدد وضعیت
اینکه تندترین جهت چقدر از ملایم‌ترین تندتر است
نوبت شما

my_guess را (سه شمار گام) پر کنید، سپس steps_to_converge(k) را بنویسید: از (1, 1) شروع کنید، از lr = 2 / (k + 1) استفاده کنید و گام‌ها را تا وقتی فاصله تا (0, 0) زیر 0.001 شود بشمارید (در 100,000 متوقف شوید).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.