کلینیک: عیبهای زیان و خروجی
چرا مهم است این عیبها اجازه میدهند آموزش اجرا شود و زیان پایین بیاید، پس مدت طولانی در کد واقعی زنده میمانند.
softmax دو بار اعمالشده: زیان احتمالها را گویی امتیازند میبیند، گرادیانها کوچک میشوند، مدل حتی نمیتواند یک دسته را حفظ کند و زیان آهسته پایین میخزد. هدفهای جابهجاشده: هر برچسب یکی جابهجاست، پس مدل کاملاً خوب یاد میگیرد، فقط پاسخهای اشتباه را: زیان آموزش پایین، درستی اعتبارسنجی نزدیک صفر.
هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راهحل بهصورت تغییرهای پیکربندی بنویسید. عیبهای این درس: softmax_twice, shifted_targets, plus one fault from earlier. کاوشگرهای کمتر بهتر است؛ یک عیبیاب خوب بهندرت برای هر مورد به بیش از دو تا نیاز دارد.
| کاوشگر | چه چیزی به شما میگوید |
|---|---|
loss_curve(c) | زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید. |
loss_at_init(c) | زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد. |
overfit_one_batch(c) | آیا میتواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 میرسد. |
grad_norms(c) | اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمیتواند یاد بگیرد. |
update_ratio(c) | اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان میدهد چرا Adam فرق دارد). |
act_stats(c) | فعالسازیهای پنهان: میانگین، بزرگترین مقدار، سهم واحدهای مرده. |
lr_schedule(c) | نرخ یادگیری در گامهای 0، 50، 100 و همینطور ادامه. |
batch_labels(c) | برچسبها در چند دستهٔ اول. |
overlap(c) | چند نمونهٔ اعتبارسنجی در آموزش هم آمدهاند. |
واژهها و نمادهای این درس
- کاوشگر (probe)
- سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیانها یا واحدهای مرده
diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنریای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. یک راهحل باید عیب را حذف کند و تا دستکم 90% درستی اعتبارسنجی آموزش دهد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.