کلینیک: عیبهای آغاز و مقیاس
چرا مهم است عیبهای ماژول 6 در طبیعت: یادگیری را پیش از شروع متوقف میکنند.
واحدهای مرده: هر واحد پنهان برای هر ورودی خاموش است، پس هیچ گرادیانی به لایهٔ اول نمیرسد و زیان هرگز از 2.30 جدا نمیشود. ورودیهای مقیاسنشده: پیکسلها به جای 0 تا 1 بهصورت 0 تا 16 میرسند، فعالسازیها عظیماند، زیان آغازین بسیار بالاتر از 2.30 است و گامهای اول خشناند. (دام آموزش/ارزیابی BatchNorm از ماژول 6 هم به اینجا تعلق دارد؛ از قبل با آن آشنا شدهاید.)
هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راهحل بهصورت تغییرهای پیکربندی بنویسید. عیبهای این درس: dead_units, unscaled_inputs, plus one fault from earlier. کاوشگرهای کمتر بهتر است؛ یک عیبیاب خوب بهندرت برای هر مورد به بیش از دو تا نیاز دارد.
| کاوشگر | چه چیزی به شما میگوید |
|---|---|
loss_curve(c) | زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید. |
loss_at_init(c) | زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد. |
overfit_one_batch(c) | آیا میتواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 میرسد. |
grad_norms(c) | اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمیتواند یاد بگیرد. |
update_ratio(c) | اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان میدهد چرا Adam فرق دارد). |
act_stats(c) | فعالسازیهای پنهان: میانگین، بزرگترین مقدار، سهم واحدهای مرده. |
lr_schedule(c) | نرخ یادگیری در گامهای 0، 50، 100 و همینطور ادامه. |
batch_labels(c) | برچسبها در چند دستهٔ اول. |
overlap(c) | چند نمونهٔ اعتبارسنجی در آموزش هم آمدهاند. |
واژهها و نمادهای این درس
- کاوشگر (probe)
- سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیانها یا واحدهای مرده
diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنریای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. یک راهحل باید عیب را حذف کند و تا دستکم 90% درستی اعتبارسنجی آموزش دهد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.