دستور: دو بررسی پیش از هر چیز دیگر
چرا مهم است بیشتر اجراهای خراب را میتوان در یک دقیقه با دو بررسی ارزان، پیش از اینکه یک ساعت آموزش را خرج کنید، گرفت.
کاربران باتجربه هر چیدمان تازه را به یک شکل آغاز میکنند:
- زیان را در آغاز بررسی کنید. پیش از آموزش، یک مدل 10 کلاسه که هیچ نمیداند به هر کلاس حدود 0.1 میدهد، پس زیانش باید حدود -ln(0.1) = 2.30 باشد. بسیار بالاتر از آن یعنی چیزی اشتباه مقیاس داده شده. بسیار پایینتر یعنی پاسخ از طریق ورودیها به مدل میرسد. هر نشتی اینجا آشکار نمیشود: وقتی تصاویر اعتبارسنجی در مجموعهٔ آموزش هم هستند، زیان آغازین عادی است (اجرای سالم این کلینیک و مورد نشت آن هر دو از 2.46 شروع میکنند)، و فقط امتیاز اعتبارسنجیای که بیش از حد خوب است لوش میدهد.
- یک دسته را بیشبرازش کنید. روی یک دستهٔ کوچک تنها چند صد گام آموزش دهید. هر مدل و حلقهٔ آموزش سالمی میتواند 32 نمونه را حفظ کند و زیان را به نزدیک صفر برساند. اگر نتواند، اشکال در مدل، زیان یا گرادیانهاست و آن را بدون دست زدن به کل داده پیدا کردهاید.
- فقط پس از آن، به اجرای کامل بروید.
این کلینیک یک طبقهبند کوچک رقم است که میتوانید عمداً خرابش کنید. config(**changes) یک چیدمان میسازد؛ train(c) آن را اجرا میکند.
| کاوشگر | چه چیزی به شما میگوید |
|---|---|
loss_curve(c) | زیان آموزش هر 50 گام و درستی نهایی اعتبارسنجی. همیشه اول نگاه کنید. |
loss_at_init(c) | زیان پیش از آموزش. یک مدل 10 کلاسهٔ تازه باید نزدیک ln(10) = 2.30 باشد. |
overfit_one_batch(c) | آیا میتواند 32 نمونه را حفظ کند؟ یک چیدمان سالم به نزدیک 0 میرسد. |
grad_norms(c) | اندازهٔ گرادیان برای هر ماتریس وزن در آغاز. صفر یعنی هیچ چیز نمیتواند یاد بگیرد. |
update_ratio(c) | اندازهٔ گام SGD ساده نسبت به اندازهٔ وزن. سالم حدود 0.001 تا 0.1 است (یک قاعدهٔ سرانگشتی برای SGD ساده؛ ماژول 14 نشان میدهد چرا Adam فرق دارد). |
act_stats(c) | فعالسازیهای پنهان: میانگین، بزرگترین مقدار، سهم واحدهای مرده. |
lr_schedule(c) | نرخ یادگیری در گامهای 0، 50، 100 و همینطور ادامه. |
batch_labels(c) | برچسبها در چند دستهٔ اول. |
overlap(c) | چند نمونهٔ اعتبارسنجی در آموزش هم آمدهاند. |
واژهها و نمادهای این درس
- کاوشگر (probe)
- سنجشی سریع از یک اجرا، مثل اندازهٔ گرادیانها یا واحدهای مرده
- بیشبرازش یک دسته
- بررسی اینکه یک چیدمان میتواند چند نمونه را حفظ کند
sanity(c) را بنویسید که با استفاده از کاوشگرها دیکشنریای با init_ok (زیان در آغاز در فاصلهٔ 0.3 از 2.30) و can_overfit (زیان بیشبرازش یک دسته زیر 0.1) برمیگرداند. آن را بر چیدمان سالم و بر suspect اعمال کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.