سرفصل‌ها درس 66 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

گام‌های پرنویز (SGD و دسته‌های کوچک)

چرا مهم است مجموعه‌داده‌های واقعی میلیون‌ها نمونه دارند. محاسبهٔ گرادیان دقیق روی همهٔ آن‌ها برای هر گام بسیار کند است، پس آن را از یک دستهٔ کوچک برآورد می‌کنیم.

گرادیان یک دستهٔ کوچک به جای همهٔ 512 نمونه، مثلاً از 32 نمونهٔ تصادفی استفاده می‌کند. تقریباً رو به سراشیبی اشاره می‌کند، با کمی نویز. به بهای یک گام دقیق 16 گام ارزان و پرنویز می‌گیرید و در عمل این به‌آسانی برنده است.

نویز چه می‌کند

منحنی زیان به جای هموار، دندانه‌دار می‌شود و نزدیک ته هرگز کاملاً نمی‌نشیند: دور کمینه می‌لرزد. پایین آوردن نرخ یادگیری در اواخر آموزش لرزش را آرام می‌کند. کمی نویز در شبکه‌های بزرگ حتی مفید است و راه رفتن را از جاهای ضعیف بیرون می‌تکاند.

SGD: نزول گرادیان تصادفی، نزول گرادیان با برآوردهای دستهٔ کوچک از گرادیان.

خلاصه گام‌های ارزان و پرنویز بسیار از گام‌های دقیق اندک بهترند.

واژه‌ها و نمادهای این درس
SGD
نزول گرادیان با استفاده از دسته‌های تصادفی کوچک
دستهٔ کوچک (minibatch)
برش تصادفی کوچکی از داده که برای یک گام به کار می‌رود
نوبت شما

sgd(X, y, lr, batch, epochs, seed) را برای رگرسیون خطی (زیان: میانگین مربع خطا) بنویسید، با به هم زدن در هر دوره، که (w, losses) را برمی‌گرداند، که losses زیان روی کل داده پس از هر دوره است. با batch 32، lr 0.05 و 10 دوره باید زیر 0.02 تمام شود.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.