یک پیچ صدا برای هر وزن (RMSProp)
چرا مهم است تکانه جهت را هموار میکند. RMSProp مشکل دیگر را درست میکند: بعضی وزنها گرادیانهای عظیم و بعضی ریز میگیرند، پس یک نرخ یادگیری نمیتواند برای همه مناسب باشد.
RMSProp برای هر وزن یک میانگین جاری از مربع گرادیانش نگه میدارد: اینکه گرادیان آن وزن معمولاً چقدر بلند است. سپس هر گام را بر ریشهٔ دوم آن تقسیم میکند، مثل کم کردن صدای وزنهای بلند و زیاد کردن صدای وزنهای آرام.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
روی کاسهٔ کشیده، جهت تند گرادیانهای بلند دارد و صدایش کم میشود، جهت ملایم صدایش زیاد میشود و کاسه تقریباً طوری رفتار میکند که گویی گرد است. این اینجا کار میکند چون جهتهای تند و ملایم کاسه با دو وزن همراستا هستند. دره را 45 درجه کج کنید، تا هر وزن آمیزهای از هر دو جهت را ببیند، و یک پیچ صدا برای هر وزن نمیتواند آنها را جدا کند: آنگاه RMSProp و Adam بسیار کمتر کمک میکنند. آنها بر اساس بلندی گرادیان هر وزن مقیاس میدهند، نه بر اساس شکل واقعی دره.
eps: عددی ریز مثل 1e-8 که جلوی تقسیم بر صفر را میگیرد.
واژهها و نمادهای این درس
- تکانه (beta)
- نگه داشتن بخشی از سرعت گام قبلی
- RMSProp
- تقسیم گام هر وزن بر اینکه گرادیانش معمولاً چقدر بلند است
- Adam (m, v, t)
- تکانه (m) بهعلاوهٔ یک پیچ صدا برای هر وزن (v)، تصحیحشده برای گامهای نخست (t)
rmsprop(grad, start, lr, rho, steps, eps=1e-8) را بنویسید که موقعیت نهایی را برمیگرداند. آزمون پنهان موقعیت شما را پس از چند گام با مرجع مقایسه میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.