سرفصل‌ها درس 98 از 246 · ماژول 8: کلینیک اجرا I
ماژول 8: کلینیک اجرا I

کلینیک: عیب‌های زیان و خروجی

چرا مهم است این عیب‌ها اجازه می‌دهند آموزش اجرا شود و زیان پایین بیاید، پس مدت طولانی در کد واقعی زنده می‌مانند.

softmax دو بار اعمال‌شده: زیان احتمال‌ها را گویی امتیازند می‌بیند، گرادیان‌ها کوچک می‌شوند، مدل حتی نمی‌تواند یک دسته را حفظ کند و زیان آهسته پایین می‌خزد. هدف‌های جابه‌جاشده: هر برچسب یکی جابه‌جاست، پس مدل کاملاً خوب یاد می‌گیرد، فقط پاسخ‌های اشتباه را: زیان آموزش پایین، درستی اعتبارسنجی نزدیک صفر.

هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راه‌حل به‌صورت تغییرهای پیکربندی بنویسید. عیب‌های این درس: softmax_twice, shifted_targets, plus one fault from earlier. کاوشگرهای کمتر بهتر است؛ یک عیب‌یاب خوب به‌ندرت برای هر مورد به بیش از دو تا نیاز دارد.

کاوشگرچه چیزی به شما می‌گوید
loss_curve(c)زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید.
loss_at_init(c)زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد.
overfit_one_batch(c)آیا می‌تواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 می‌رسد.
grad_norms(c)اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمی‌تواند یاد بگیرد.
update_ratio(c)اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان می‌دهد چرا Adam فرق دارد).
act_stats(c)فعال‌سازی‌های پنهان: میانگین، بزرگ‌ترین مقدار، سهم واحدهای مرده.
lr_schedule(c)نرخ یادگیری در گام‌های 0، 50، 100 و همین‌طور ادامه.
batch_labels(c)برچسب‌ها در چند دستهٔ اول.
overlap(c)چند نمونهٔ اعتبارسنجی در آموزش هم آمده‌اند.
واژه‌ها و نمادهای این درس
کاوشگر (probe)
سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیان‌ها یا واحدهای مرده
نوبت شما

diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنری‌ای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. یک راه‌حل باید عیب را حذف کند و تا دست‌کم 90% درستی اعتبارسنجی آموزش دهد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.