سرفصل‌ها درس 101 از 250 · شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی
شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی

مدل‌ها چگونه یاد می‌گیرند

یک شبکهٔ تازه دارای وزن‌های تصادفی است و بی‌فایده است. آموزش این فرایند، جابه‌جایی آن وزنه‌ها تا زمانی است که خروجی به نتیجهٔ مطلوب برسد. دو ایدهٔ اصلی آن را هدایت می‌کنند.

تابع زیان، میزان نادرستی را اندازه‌گیری می‌کند.

شما به یک عدد واحد نیاز دارید که نشان دهد پیش‌بینی‌ها چقدر بد هستند. برای رگرسیون، بهترین گزینه است میانگین مربعات خطا (MSE): میانگین مربعات اختلاف بین حقیقت و پیش‌بینی.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

مربع‌گیری خطاهای بزرگ را شدیدتر مجازات می‌کند و همه چیز را مثبت نگه می‌دارد. کاهش خطا بهتر است؛ خطای صفر به معنای تطابق کامل است.

۲. شیب‌نزول سرازیری می‌رود

از دست دادن را مانند یک سطح تپه‌وار تصور کنید و وزن‌ها را مانند موقعیتتان روی آن. شیب شیب است: به سمت بالا اشاره می‌کند، به سوی زیان بیشتر. بنابراین برای کاهش زیان، یک گام کوچک در مقابل، برعکس، متضاد جهت

w = w - learning_rate * gradient

آن نرخ یادگیری اندازه گام است. این کار را هزاران بار تکرار کنید و وزنه‌ها به سمت دره‌ای با کمترین افت غلتانده می‌شوند. آن حلقه تمام چیزی است که آموزش است.

برای یک مدل اسباب‌بازی y = w * x با MSE، شیب تابع زیان نسبت به w برابر می‌شود mean(2 * (w*x - y) * x)شما دقیقاً یک قدم برمی‌دارید و می‌بینید که ضرر کاهش می‌یابد.

از یک وزن تا یک شبکهٔ کامل

شبکه‌ی دو لایه‌ای که در درس قبل ساختید، دارای وزن‌های زیادی است، نه فقط یک وزن. آموزش آن به معنای یافتن شیب تابع زیان نسبت به هر وزن، لایه‌به‌لایه. یعنی انتشار معکوس: از تابع زیان شروع کنید و قاعده زنجیره‌ای را به‌صورت معکوس در هر لایه اعمال کنید تا شیب هر وزن را به‌دست آورید، سپس یک گام نزولی یکسان را به‌طور هم‌زمان روی همه آن‌ها بردارید. محاسبات سنگین‌تر است، اما ایده دقیقاً مشابه همان گام تک‌مرحله‌ای است که در زیر برمی‌دارید. در کد واقعی هرگز آن را به‌صورت دستی مشتق نمی‌کنید: فریم‌ورک‌هایی مانند PyTorch گذر رو به جلو را ثبت می‌کنند و یکی loss.backward() call برای شما هر شیب را محاسبه می‌کند. ما در اینجا نسخهٔ تک‌وزن را پیاده‌سازی می‌کنیم تا سازوکار ملموس باقی بماند.

نوبت شما

پیاده‌سازی mse(y_true, y_pred) (میانگین مربعات اختلافات). سپس، برای مدل اسباب‌بازی y = w * x، محاسبه کنید loss_before، یک گام نزول شیب را با استفاده از grad = np.mean(2 * (w*x - y) * x) و w = w - lr * grad، سپس محاسبه کنید loss_after. زیان باید کاهش یابد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.