سرفصل‌ها درس 46 از 246 · ماژول 3: از نورون تا MLP
ماژول 3: از نورون تا MLP

بررسی‌کنندهٔ گرادیانی که در سراسر دوره به کار می‌برید

چرا مهم است یک گرادیان اشتباه خراب نمی‌شود. آموزش فقط بی‌صدا بد پیش می‌رود. یک بررسی‌کنندهٔ گرادیان اشتباه را در چند ثانیه می‌گیرد و شما از این یکی در هر ماژول استفاده خواهید کرد.

ایده همان جابه‌جایی ماژول 2 است، برای هر وزن: وزن i را به اندازهٔ h بالا و پایین ببرید، هر دو بار زیان را بسنجید و تفاوت را بر 2h تقسیم کنید. با گرادیان فرمول خودتان مقایسه کنید.

نزدیک یعنی چقدر نزدیک؟

از خطای نسبی استفاده کنید: |a - b| تقسیم بر بزرگ‌تر از |a| و |b| (یا اگر هر دو بسیار کوچک‌اند 1e-8). زیر 1e-6 قبول است؛ بالای 1e-3 تقریباً همیشه یعنی یک اشکال.

بررسی گرادیان: مقایسهٔ یک گرادیان تحلیلی (از فرمول شما) با یک گرادیان عددی (از جابه‌جایی).

خلاصه داوری کند اما قابل اعتماد. پیش از اعتماد به هر گرادیان تازه‌ای از آن استفاده کنید.

واژه‌ها و نمادهای این درس
نرخ یادگیری (lr)
اینکه هر گام آموزش چقدر بزرگ است
بررسی گرادیان
مقایسهٔ فرمول گرادیان شما با برآوردی از جابه‌جایی و سنجش
نوبت شما

numeric_grad(f, w, h=1e-5) (w یک آرایهٔ NumPy با هر شکلی است؛ آرایه‌ای با همان شکل برگردانید) و grad_check(f, grad, w) را بنویسید که بزرگ‌ترین خطای نسبی را برمی‌گرداند. اینجا f(w) آرایهٔ وزن را می‌گیرد و زیان را به‌صورت یک عدد برمی‌گرداند، و grad یک آرایه است (گرادیان فرمول شما در w، از قبل محاسبه‌شده)، نه یک تابع. w را برای همیشه تغییر ندهید. برای پیمودن هر جایگاه یک آرایه با هر شکلی، for idx in np.ndindex(w.shape): هر تاپل نمایه را به نوبت می‌دهد. آزمون پنهان سه گرادیان به‌طرز ظریفی اشتباه به بررسی‌کنندهٔ شما می‌دهد؛ هر کدام باید امتیازی بالای 1e-3 بگیرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.