پسانتشار برای یک شبکهٔ دولایه، با دست
چرا مهم است این درس کل پسانتشار برای یک شبکهٔ واقعی است. پس از آن، هیچ چیز در یک کتابخانهٔ یادگیری عمیق جادو نیست.
اول آن را ببینید
پویانمایی را پخش کنید. خطا در خروجی بهصورت (softmax منهای one-hot) شروع میشود. از لایهٔ دوم به عقب جریان مییابد، هر جا یک ReLU خاموش بود مسدود میشود، از لایهٔ اول عبور میکند و روی هر وزن یک گرادیان میگذارد.
گذر رو به جلو
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
گذر رو به عقب، با جور کردن شکلها
ترفندی که این را آسان میکند: هر گرادیان همان شکل چیزی را دارد که به آن تعلق دارد. اگر شکلها را بدانید، معمولاً فقط یک راه برای ضرب تکهها هست که جور باشد. دو گام اول، حلشده:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
بقیه با شماست. هر کدام را از روی شکلی که باید داشته باشد به دست آورید:
db2: شکل (classes,). هر بایاس به هر ردیف اضافه شده بود.dH: شکل (n, hidden)، همان H. از dZ و W2 میآید.dH_pre: شکل (n, hidden). ReLU ورودیاش را جایی که روشن بود عبور داد و جای دیگر مسدود کرد.dW1وdb1: همان دو گام W2 و b2، یک لایه پایینتر.
خلاصه گذر رو به عقب همان گذر رو به جلو بهصورت معکوس است، با ضرب در شیب محلی هر گام و با شکلها بهعنوان راهنما.
واژهها و نمادهای این درس
- وزنها (w, W)، بایاس (b)
- اعدادی که یک نورون یاد میگیرد؛ بایاس خروجیاش را جابهجا میکند
- ReLU
- max(0, z): مثبتها را نگه میدارد، منفیها را صفر میکند
- one-hot
- صفرها با یک 1 تنها در کلاس واقعی
- پسانتشار
- قاعدهٔ زنجیرهای که رو به عقب اجرا میشود تا گرادیان هر وزن به دست آید
forward_backward(X, y, W1, b1, W2, b2) را بنویسید که (loss, grads) را برمیگرداند، که grads دیکشنریای با کلیدهای W1, b1, W2, b2 است. آزمون پنهان هر گرادیان را با یک جابهجایی بررسی میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.