اشکال کاشتهشده را پیدا و درست کنید
چرا مهم است بدترین اشکالها در یادگیری ماشین خراب نمیشوند. آموزش میدهند، کمی بدتر از آنچه باید، و هیچکس متوجه نمیشود. یک بررسی گرادیان آنها را در چند ثانیه پیدا میکند.
یک همکار کد گرادیان کارگاه را برای سریعتر شدن بازنویسی کرد: suspect_grads. اجازه ندارید آن را بخوانید، همانطور که اغلب در کار واقعی (یک کتابخانه، شاخهٔ یک همتیمی، کد تولیدشده). با آموزش با آن، خط پایهٔ شما همچنان یاد میگیرد: روی برنامهٔ پیشفرض دوره امتیاز language فقط حدود 0.05 بدتر است و روی images، با بذر 0، حتی بالاتر امتیاز میگیرد. هر دو درون چیزیاند که یک خوانندهٔ بیدقت نویز مینامد. چیزی در آن اشتباه است.
آن را همانطور که ماژول 3 آموخت بررسی کنید: یک وزن را به اندازهٔ کمی جابهجا کنید، تغییر زیان را بسنجید و با شیبی که کد ادعا میکند مقایسه کنید. این کار را برای 5 درایه از هر یک از W1، b1، W2 و b2 روی یک مدل کوچک (عرض 8، دستهای از 16) انجام دهید، که از میان درایههایی برگزیده شدهاند که شیب ادعاشدهشان صفر نیست (با ورودیهای one-hot، بیشتر شیبهای W1 دقیقاً 0 است و بررسی آنجا هیچ چیزی را ثابت نمیکند). زیان را در float64 با studio.loss64 و جابهجایی 1e-4 بسنجید؛ خطای نسبی بالای 0.01 را اشتباه بنامید.
واژهها و نمادهای این درس
- خط پایه
- اجرای سادهای که هر تغییری روی همان بذرها در برابر آن سنجیده میشود
- بررسی گرادیان
- مقایسهٔ شیبی که کد شما محاسبه میکند با شیبی که با جابهجا کردن یک وزن سنجیده میشود
check(grad_fn) را بنویسید که برای هر یک از 'W1'، 'b1'، 'W2'، 'b2' بزرگترین خطای نسبی روی 5 درایه را برمیگرداند. wrong را برابر نامهای مرتبشدهای که خطایشان بالای 0.01 است، و cause را برابر یک جمله قرار دهید: چه چیزی در گذر رو به عقب جایی که گرادیانهای اشتباه هستند مینشیند، و چه چیزی احتمالاً آنجا افتاده است. سپس fixed_grads را خودتان بنویسید (گذر رو به جلو m.forward است؛ زیان و شیبش studio.loss_and_dout هستند). سپس خط پایهتان (بذر 0) را با هر کدام آموزش دهید و هر دو امتیاز را چاپ کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.