کلینیک: عیبهای نرخ یادگیری
چرا مهم است نرخ یادگیری رایجترین علت یک اجرای بد است. هر نوع اشتباه ردی متفاوت به جا میگذارد.
خیلی بالا: گامها از هدف میگذرند، زیان بالا و پایین میپرد یا بالا میرود و نسبت بهروزرسانی به وزن نزدیک یا بالای 1 است. خیلی پایین: تقریباً هیچ چیز حرکت نمیکند، زیان نزدیک 2.30 میماند و نسبت ریز است. خیلی زود پایین آمده: اجرا مدتی یاد میگیرد، سپس دیگر بهتر نمیشود: از آن پس زیان فقط از دستهای به دستهٔ دیگر حول سطحی متوسط (اینجا میان حدود 1.1 و 1.5) نوسان دارد؛ زمانبندی نشان میدهد نرخ فرو میریزد.
هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راهحل بهصورت تغییرهای پیکربندی بنویسید. عیبهای این درس: lr_too_high, lr_too_low, lr_dropped_early. کاوشگرهای کمتر بهتر است؛ یک عیبیاب خوب بهندرت برای هر مورد به بیش از دو تا نیاز دارد.
| کاوشگر | چه چیزی به شما میگوید |
|---|---|
loss_curve(c) | زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید. |
loss_at_init(c) | زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد. |
overfit_one_batch(c) | آیا میتواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 میرسد. |
grad_norms(c) | اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمیتواند یاد بگیرد. |
update_ratio(c) | اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان میدهد چرا Adam فرق دارد). |
act_stats(c) | فعالسازیهای پنهان: میانگین، بزرگترین مقدار، سهم واحدهای مرده. |
lr_schedule(c) | نرخ یادگیری در گامهای 0، 50، 100 و همینطور ادامه. |
batch_labels(c) | برچسبها در چند دستهٔ اول. |
overlap(c) | چند نمونهٔ اعتبارسنجی در آموزش هم آمدهاند. |
واژهها و نمادهای این درس
- کاوشگر (probe)
- سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیانها یا واحدهای مرده
- نسبت بهروزرسانی به وزن
- اینکه یک گام هر وزن را، نسبت به اندازهاش، چقدر تغییر میدهد
diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنریای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. یک راهحل باید عیب را حذف کند و تا دستکم 90% درستی اعتبارسنجی آموزش دهد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.