سرفصل‌ها درس 64 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

سطح‌های زیانی که می‌توانید رویشان راه بروید

چرا مهم است هر بهینه‌ساز روش متفاوتی برای پایین رفتن از سراشیبی روی چشم‌اندازی است که نمی‌توانید ببینید. اول روی یکی ساده راه بروید.

زیان را یک چشم‌انداز تصور کنید: دو وزن موقعیت شما روی نقشه‌اند و زیان ارتفاع است. آموزش پایین رفتن از سراشیبی است. گرادیان رو به سربالایی اشاره می‌کند، پس هر گام در جهت مخالف می‌رود: position = position - lr * gradient.

اعداد کوچک

روی کاسهٔ f(x, y) = x squared + y squared، گرادیان در (3, 4) برابر (6, 8) است. با lr 0.1 گام به (3 - 0.6, 4 - 0.8) = (2.4, 3.2) می‌رود. هر گام 80% فاصله تا ته را نگه می‌دارد، پس پس از 20 گام در حدود 1% از جایی هستید که شروع کردید.

نرخ یادگیری: اینکه نسبت به گرادیان چقدر گام برداریم. خیلی کوچک می‌خزد؛ خیلی بزرگ از هدف می‌گذرد.

خلاصه خلاف گرادیان گام بردارید؛ نرخ یادگیری طول گام را تعیین می‌کند.

نوبت شما

descend(grad, start, lr, steps) را بنویسید که فهرست موقعیت‌های بازدیدشده (شامل شروع) را به‌صورت آرایه‌های NumPy برمی‌گرداند. سپس my_lr را طوری انتخاب کنید که روی کاسهٔ درس، با شروع از (3, 4)، در حداکثر 15 گام در فاصلهٔ 0.01 از ته باشید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.