گامهای پرنویز (SGD و دستههای کوچک)
چرا مهم است مجموعهدادههای واقعی میلیونها نمونه دارند. محاسبهٔ گرادیان دقیق روی همهٔ آنها برای هر گام بسیار کند است، پس آن را از یک دستهٔ کوچک برآورد میکنیم.
گرادیان یک دستهٔ کوچک به جای همهٔ 512 نمونه، مثلاً از 32 نمونهٔ تصادفی استفاده میکند. تقریباً رو به سراشیبی اشاره میکند، با کمی نویز. به بهای یک گام دقیق 16 گام ارزان و پرنویز میگیرید و در عمل این بهآسانی برنده است.
نویز چه میکند
منحنی زیان به جای هموار، دندانهدار میشود و نزدیک ته هرگز کاملاً نمینشیند: دور کمینه میلرزد. پایین آوردن نرخ یادگیری در اواخر آموزش لرزش را آرام میکند. کمی نویز در شبکههای بزرگ حتی مفید است و راه رفتن را از جاهای ضعیف بیرون میتکاند.
SGD: نزول گرادیان تصادفی، نزول گرادیان با برآوردهای دستهٔ کوچک از گرادیان.
خلاصه گامهای ارزان و پرنویز بسیار از گامهای دقیق اندک بهترند.
واژهها و نمادهای این درس
- SGD
- نزول گرادیان با استفاده از دستههای تصادفی کوچک
- دستهٔ کوچک (minibatch)
- برش تصادفی کوچکی از داده که برای یک گام به کار میرود
sgd(X, y, lr, batch, epochs, seed) را برای رگرسیون خطی (زیان: میانگین مربع خطا) بنویسید، با به هم زدن در هر دوره، که (w, losses) را برمیگرداند، که losses زیان روی کل داده پس از هر دوره است. با batch 32، lr 0.05 و 10 دوره باید زیر 0.02 تمام شود.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.