پشتانتشار و بررسی شیب
شما یک مدل اسباببازی را با هل دادن وزنها به سمت پایین آموزش دادید. اما شیبها از کجا میآیند و چگونه میدانید که درست هستند؟ این درس به هر دو سؤال پاسخ میدهد و پاسخ دوم، یعنی بررسی شیبها، تنها عادتی است که شبکههای عصبی کارا را از آنهایی که بهظاهر سالم اما در عمل خراب هستند، متمایز میکند.
پسانتشار (Backprop) صرفاً قاعده زنجیرهای است. یک مثال را از طریق یک مدل کوچک اجرا کنید: پیشبینی z = w * x، سپس خطای مربعات را اندازهگیری کنید L = (z - y)**2. برای بهبود w نیاز دارید dL/dw. آن را در دو مرحله محاسبه کرده و حاصل ضربها را با هم جمع کنید:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xآن حاصلضرب همان پسانتشار است، در مقیاس کوچک: هر لایه شیب بازگشتی را با مشتق محلی خود ضرب میکند. یک میلیون از اینها را روی هم قرار دهید تا یک شبکه عمیق داشته باشید.
حالا، آیا فرمول شما درست است؟ آن را به صورت عددی تأیید کنید. تعریف مشتق یک تلنگر کوچک است، بنابراین آن را با استفاده از تفاضل محدود مرکزی تخمین بزنید و بررسی کنید که شیب تحلیلی با آن مطابقت دارد:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsاگر با هم مطابقت نداشته باشند، مرحله بازگشت (backward pass) شما دارای باگ است؛ هر پایگاهکد جدی در یادگیری عمیق (DL) به همین دلیل به بررسی شیب (gradient-checks) میپردازد.
دو تابع بسازید. loss(w, x, y) بازمیگرداند (w*x - y)**2. grad(w, x, y) گریدینت تحلیلی را برمیگرداند dL/dw = 2*(w*x - y)*x. تستهای پنهان گرادیانتی را روی ... شما بررسی خواهند کرد grad در مقابل یک اختلاف محدود از خودتان loss در بسیاری از نقاط تصادفی، بنابراین فرمول نادرست نمیتواند قبول شود. برای مشاهدهی مقایسهٔ نمودارهای تحلیلی و عددی، روی اجرا کلیک کنید.
نوشتن loss(w, x, y) بازگرداندن خطای مربعات (w*x - y)**2، و grad(w, x, y) بازگرداندن شیب تحلیلی آن نسبت به w، که طبق قاعده زنجیرهای برابر است با 2*(w*x - y)*x. Your grad در بسیاری از نقاط تصادفی بررسی خواهد شد، بنابراین باید مشتق واقعی باشد، نه یک تقریب یا عدد ثابت. loss در نقاط تصادفی فراوان بررسی خواهد شد، بنابراین باید مشتق حقیقی باشد، نه یک تقریب یا مقدار ثابت.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.