سرفصل‌ها درس 99 از 246 · ماژول 8: کلینیک اجرا I
ماژول 8: کلینیک اجرا I

کلینیک: عیب‌های آغاز و مقیاس

چرا مهم است عیب‌های ماژول 6 در طبیعت: یادگیری را پیش از شروع متوقف می‌کنند.

واحدهای مرده: هر واحد پنهان برای هر ورودی خاموش است، پس هیچ گرادیانی به لایهٔ اول نمی‌رسد و زیان هرگز از 2.30 جدا نمی‌شود. ورودی‌های مقیاس‌نشده: پیکسل‌ها به جای 0 تا 1 به‌صورت 0 تا 16 می‌رسند، فعال‌سازی‌ها عظیم‌اند، زیان آغازین بسیار بالاتر از 2.30 است و گام‌های اول خشن‌اند. (دام آموزش/ارزیابی BatchNorm از ماژول 6 هم به اینجا تعلق دارد؛ از قبل با آن آشنا شده‌اید.)

هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راه‌حل به‌صورت تغییرهای پیکربندی بنویسید. عیب‌های این درس: dead_units, unscaled_inputs, plus one fault from earlier. کاوشگرهای کمتر بهتر است؛ یک عیب‌یاب خوب به‌ندرت برای هر مورد به بیش از دو تا نیاز دارد.

کاوشگرچه چیزی به شما می‌گوید
loss_curve(c)زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید.
loss_at_init(c)زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد.
overfit_one_batch(c)آیا می‌تواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 می‌رسد.
grad_norms(c)اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمی‌تواند یاد بگیرد.
update_ratio(c)اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان می‌دهد چرا Adam فرق دارد).
act_stats(c)فعال‌سازی‌های پنهان: میانگین، بزرگ‌ترین مقدار، سهم واحدهای مرده.
lr_schedule(c)نرخ یادگیری در گام‌های 0، 50، 100 و همین‌طور ادامه.
batch_labels(c)برچسب‌ها در چند دستهٔ اول.
overlap(c)چند نمونهٔ اعتبارسنجی در آموزش هم آمده‌اند.
واژه‌ها و نمادهای این درس
کاوشگر (probe)
سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیان‌ها یا واحدهای مرده
نوبت شما

diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنری‌ای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. یک راه‌حل باید عیب را حذف کند و تا دست‌کم 90% درستی اعتبارسنجی آموزش دهد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.