سرفصل‌ها درس 97 از 246 · ماژول 8: کلینیک اجرا I
ماژول 8: کلینیک اجرا I

کلینیک: عیب‌های داده

چرا مهم است «اشکال همیشه در مدل است» نادرست است. عیب‌های داده رایج‌اند و خوب پنهان می‌شوند، چون خود حلقهٔ آموزش مشکلی ندارد.

نشت: مجموعهٔ اعتبارسنجی نمونه‌های آموزشی دارد، پس درستی اعتبارسنجی شگفت‌انگیز به نظر می‌رسد و هیچ معنایی ندارد. به هم نزدن: دسته‌ها هر بار یک کلاس می‌آیند، مدل دنبال هر کلاسی می‌رود که آخر دیده و درستی روی دادهٔ آمیخته ضعیف است. برچسب‌های اشتباه: بسیاری از برچسب‌های آموزشی تصادفی‌اند، پس زیان آموزش نمی‌تواند خیلی پایین بیاید، با اینکه مدل می‌تواند یک دسته را حفظ کند.

هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راه‌حل به‌صورت تغییرهای پیکربندی بنویسید. عیب‌های این درس: leak, no_shuffle, noisy_labels. کاوشگرهای کمتر بهتر است؛ یک عیب‌یاب خوب به‌ندرت برای هر مورد به بیش از دو تا نیاز دارد.

کاوشگرچه چیزی به شما می‌گوید
loss_curve(c)زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید.
loss_at_init(c)زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد.
overfit_one_batch(c)آیا می‌تواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 می‌رسد.
grad_norms(c)اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمی‌تواند یاد بگیرد.
update_ratio(c)اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان می‌دهد چرا Adam فرق دارد).
act_stats(c)فعال‌سازی‌های پنهان: میانگین، بزرگ‌ترین مقدار، سهم واحدهای مرده.
lr_schedule(c)نرخ یادگیری در گام‌های 0، 50، 100 و همین‌طور ادامه.
batch_labels(c)برچسب‌ها در چند دستهٔ اول.
overlap(c)چند نمونهٔ اعتبارسنجی در آموزش هم آمده‌اند.
واژه‌ها و نمادهای این درس
کاوشگر (probe)
سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیان‌ها یا واحدهای مرده
نشت
رسیدن اطلاعات آزمون یا اعتبارسنجی به آموزش
نوبت شما

diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنری‌ای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. یک راه‌حل باید عیب را حذف کند و تا دست‌کم 90% درستی اعتبارسنجی آموزش دهد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.