سرفصل‌ها درس 40 از 246 · ماژول 3: از نورون تا MLP
ماژول 3: از نورون تا MLP

پایین رفتن از سراشیبی (نزول گرادیان با دست)

چرا مهم است انتخاب وزن‌ها با دست برای یک میلیون وزن جواب نمی‌دهد. گرادیان با هم به هر وزن می‌گوید سراشیبی کدام سوست.

آن را نام ببرید

برای زیان L = mean((X @ w + b - y) به توان دو)، w1 را جابه‌جا کنید و L به اندازهٔ 2 * mean(error * x1) تغییر می‌کند، که error پیش‌بینی منهای حقیقت است. این مشتق L نسبت به w1 است. همه با هم: grad_w = 2 * X.T @ error / n، و grad_b = 2 * mean(error).

آن را به زبان ساده بخوانید

اگر پیش‌بینی‌ها روی خانه‌هایی با اندازهٔ بزرگ بیش از حد بالا باشند (error مثبت)، پایین آوردن w1 کمک می‌کند و گرادیان w1 مثبت است، پس آن را کم می‌کنیم. هر گام: w = w - lr * grad_w، که lr، نرخ یادگیری، اندازهٔ گام را تعیین می‌کند.

نزول گرادیان: تکرار «گرادیان را محاسبه کن، گامی کوچک خلاف آن بردار». نرخ یادگیری: اندازهٔ هر گام.

پیش‌بینی منحنی

پیش از اجرای آموزشتان، زیان را در گام‌های 0، 10، 50 و 200 در my_guess حدس بزنید. کد حدس شما را کنار مقدار واقعی چاپ می‌کند.

خلاصه گرادیان، گامی خلاف آن، تکرار.

واژه‌ها و نمادهای این درس
وزن‌ها (w, W)، بایاس (b)
اعدادی که یک نورون یاد می‌گیرد؛ بایاس خروجی‌اش را جابه‌جا می‌کند
نرخ یادگیری (lr)
اینکه هر گام آموزش چقدر بزرگ است
نوبت شما

gradients(X, y, w, b) را بنویسید که (grad_w, grad_b) را برمی‌گرداند، و train(X, y, lr, steps) را که از صفرها شروع می‌کند و (w, b, losses) را برمی‌گرداند، که losses زیان پیش از هر گام را نگه می‌دارد. اول my_guess را پر کنید. زیان آموزش‌دیده باید با lr 0.5 و 201 گامی که کد آغازین می‌خواهد به زیر 0.01 برسد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.