سرفصل‌ها درس 48 از 246 · ماژول 3: از نورون تا MLP
ماژول 3: از نورون تا MLP

پس‌انتشار برای یک شبکهٔ دولایه، با دست

چرا مهم است این درس کل پس‌انتشار برای یک شبکهٔ واقعی است. پس از آن، هیچ چیز در یک کتابخانهٔ یادگیری عمیق جادو نیست.

اول آن را ببینید

پویانمایی را پخش کنید. خطا در خروجی به‌صورت (softmax منهای one-hot) شروع می‌شود. از لایهٔ دوم به عقب جریان می‌یابد، هر جا یک ReLU خاموش بود مسدود می‌شود، از لایهٔ اول عبور می‌کند و روی هر وزن یک گرادیان می‌گذارد.

گذر رو به جلو

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

گذر رو به عقب، با جور کردن شکل‌ها

ترفندی که این را آسان می‌کند: هر گرادیان همان شکل چیزی را دارد که به آن تعلق دارد. اگر شکل‌ها را بدانید، معمولاً فقط یک راه برای ضرب تکه‌ها هست که جور باشد. دو گام اول، حل‌شده:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

بقیه با شماست. هر کدام را از روی شکلی که باید داشته باشد به دست آورید:

  • db2: شکل (classes,). هر بایاس به هر ردیف اضافه شده بود.
  • dH: شکل (n, hidden)، همان H. از dZ و W2 می‌آید.
  • dH_pre: شکل (n, hidden). ReLU ورودی‌اش را جایی که روشن بود عبور داد و جای دیگر مسدود کرد.
  • dW1 و db1: همان دو گام W2 و b2، یک لایه پایین‌تر.

خلاصه گذر رو به عقب همان گذر رو به جلو به‌صورت معکوس است، با ضرب در شیب محلی هر گام و با شکل‌ها به‌عنوان راهنما.

واژه‌ها و نمادهای این درس
وزن‌ها (w, W)، بایاس (b)
اعدادی که یک نورون یاد می‌گیرد؛ بایاس خروجی‌اش را جابه‌جا می‌کند
ReLU
max(0, z): مثبت‌ها را نگه می‌دارد، منفی‌ها را صفر می‌کند
one-hot
صفرها با یک 1 تنها در کلاس واقعی
پس‌انتشار
قاعدهٔ زنجیره‌ای که رو به عقب اجرا می‌شود تا گرادیان هر وزن به دست آید
نوبت شما

forward_backward(X, y, W1, b1, W2, b2) را بنویسید که (loss, grads) را برمی‌گرداند، که grads دیکشنری‌ای با کلیدهای W1, b1, W2, b2 است. آزمون پنهان هر گرادیان را با یک جابه‌جایی بررسی می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.