سرفصل‌ها درس 49 از 246 · ماژول 3: از نورون تا MLP
ماژول 3: از نورون تا MLP

یک خوانندهٔ رقم با NumPy ساده

چرا مهم است این یک شبکهٔ عصبی واقعی است که دست‌خط واقعی را می‌خواند، با هر خطی که خودتان نوشته‌اید. شبکهٔ اول کلاسیک است، بدون کتابخانه ساخته‌شده.

داده 1,797 رقم دست‌نویس است، هر کدام یک تصویر 8 در 8 که به 64 عدد صاف شده (پسرعمویی کوچک و کم‌وضوح از مجموعهٔ معروف 28 در 28 یعنی MNIST، از مجموعه‌ای دیگر). شبکه همان درس قبل است: 64 ورودی، یک لایهٔ پنهان از 64 نورون ReLU و 10 خروجی.

حلقهٔ آموزش

  1. وزن‌ها را کوچک و تصادفی شروع کنید: rng.normal(0, 0.1, shape)، بایاس‌ها در صفر.
  2. در هر دوره، دادهٔ آموزشی را به هم بزنید و آن را در دسته‌های کوچک 32تایی بپیمایید.
  3. برای هر دستهٔ کوچک، forward_backward را اجرا کنید و هر وزن را گامی خلاف گرادیانش ببرید.

دستهٔ کوچک (minibatch): برش تصادفی کوچکی از داده که برای یک گام به کار می‌رود. بسیار سریع‌تر از استفاده از کل داده در هر گام است و نویزش حتی کمک می‌کند.

پیش‌بینی منحنی: زیان آموزش را پس از دورهٔ 1 و پس از دورهٔ 20 در my_guess حدس بزنید.

خلاصه به هم بزنید، برش بزنید، رو به جلو، رو به عقب، گام. تکرار.

واژه‌ها و نمادهای این درس
نورون
w . x + b، سپس یک فعال‌سازی
وزن‌ها (w, W)، بایاس (b)
اعدادی که یک نورون یاد می‌گیرد؛ بایاس خروجی‌اش را جابه‌جا می‌کند
ReLU
max(0, z): مثبت‌ها را نگه می‌دارد، منفی‌ها را صفر می‌کند
نرخ یادگیری (lr)
اینکه هر گام آموزش چقدر بزرگ است
لایهٔ پنهان
لایه‌ای میان ورودی و خروجی که ویژگی‌های تازه می‌سازد
نوبت شما

با استفاده از forward_backward خودتان، train(X, y, hidden, lr, epochs, seed) را بنویسید که دیکشنری‌ای از وزن‌ها برمی‌گرداند، و predict(params, X) را که رقم پیش‌بینی‌شده برای هر ردیف را برمی‌گرداند. my_guess را پر کنید. آزمون پنهان دقت را روی 397 رقمی که هرگز رویشان آموزش ندیده‌اید می‌سنجد: دست‌کم به 95% برسید. (lr 0.5، 20 دوره، 64 پنهان کار می‌کند.)

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.