کاوشگرهای خودتان
چرا مهم است کاوشگرها راه دیدن درون یک اجرا هستند. نوشتن آنها به دست خودتان یعنی وقتی ابزاری اعداد را نشان دهد میدانید معنایشان چیست.
سه کاوشگر بیشتر کار را انجام میدهند:
- اندازهٔ گرادیان برای هر لایه: طول (نُرم) گرادیان هر ماتریس وزن. همه صفر: هیچ چیز یاد نمیگیرد. بسیار متفاوت میان لایهها: یک لایه گرسنه است.
- سهم مرده: کسری از واحدهای پنهان که برای هر نمونه در یک دسته صفر خروجی میدهند.
- نسبت بهروزرسانی به وزن: نرخ یادگیری ضرب در اندازهٔ گرادیان، تقسیم بر اندازهٔ وزن. میگوید یک گام چه کسری از هر وزن را تغییر میدهد. حدود 0.001 تا 0.1 سالم است؛ نزدیک 1 یعنی هر گام وزنها را بازنویسی میکند؛ نزدیک 0 یعنی هیچ چیز حرکت نمیکند.
چارچوب درونیاتش را در اختیار میگذارد: _data(c) دادهٔ آموزشی را میدهد، _init(c) وزنهای آغازین را، و _fb(p, X, y, c) مقدار (loss، گرادیانها، فعالسازیهای پنهان) را برمیگرداند.
واژهها و نمادهای این درس
- کاوشگر (probe)
- سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیانها یا واحدهای مرده
- نسبت بهروزرسانی به وزن
- اینکه یک گام هر وزن را، نسبت به اندازهاش، چقدر تغییر میدهد
my_grad_norms(c)، my_dead_share(c) و my_update_ratio(c) را با استفاده از 256 نمونهٔ آموزشی اول و وزنهای آغازین بنویسید. باید با کاوشگرهای کلینیک جور باشند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.