چرا یک کاسهٔ کشیده کند است (وضعیتمندی)
چرا مهم است چشماندازهای زیان واقعی در بعضی جهتها تند و در بعضی تقریباً تختاند. همین ناهمخوانی، نه تعداد وزنها، است که نزول گرادیان ساده را کند میکند.
آن را ببینید
f = (k x squared + y squared) / 2 را در نظر بگیرید. با k = 1 یک کاسهٔ گرد است. با k = 100 یک درهٔ دراز و باریک است: در عرض تند، در طول ملایم. نرخ یادگیری باید با هم برای هر دو جهت مناسب باشد. بهترین انتخاب تنها، lr = 2 / (k + 1)، باعث میشود هر گام (k - 1) / (k + 1) از فاصله را در هر دو جهت نگه دارد: وقتی k = 100 است 0.98 آن را. هر چه بزرگتر، جهت تند از هدف میگذرد و آهستهتر مینشیند (بالای 2 / k بیحد رشد میکند)؛ هر چه کوچکتر، جهت ملایم حتی آهستهتر میخزد. پس راه رفتن در عرض دره زیگزاگ میزند در حالی که در طول آن میخزد.
عدد وضعیت: نسبت تندترین به ملایمترین انحنا، اینجا k. نزول گرادیان ساده برای پیشرفت خوب تقریباً k گام لازم دارد.
پیشبینی منحنی: پیش از اجرا، پیشبینی کنید برای k = 1، 10 و 100، با بهترین نرخ یادگیری ثابت، 2 / (k + 1)، چند گام طول میکشد تا در فاصلهٔ 0.001 از ته برسید.
خلاصه کشیدگی نزول ساده را به نسبت کشیدگی کند میکند.
واژهها و نمادهای این درس
- عدد وضعیت
- اینکه تندترین جهت چقدر از ملایمترین تندتر است
my_guess را (سه شمار گام) پر کنید، سپس steps_to_converge(k) را بنویسید: از (1, 1) شروع کنید، از lr = 2 / (k + 1) استفاده کنید و گامها را تا وقتی فاصله تا (0, 0) زیر 0.001 شود بشمارید (در 100,000 متوقف شوید).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.