سرفصل‌ها درس 160 از 246 · ماژول 14: کلینیک اجرا II
ماژول 14: کلینیک اجرا II

کلینیک: بیش از حد خوب، یا بیش از حد گیر کرده

چرا مهم است خطرناک‌ترین اجراها آن‌هایی‌اند که عالی به نظر می‌رسند. مدلی که می‌تواند پاسخ‌هایش را ببیند زیان آموزش شگفت‌انگیزی گزارش می‌کند و بی‌فایده است.

بدون ماسک: مدل می‌تواند به نویسهٔ بعدی دزدکی نگاه کند، پس زیان آموزشش بیشتر از یک اجرای سالم پایین می‌آید، در حالی که زیانش روی متن ندیده (با سنجش صادقانه، فقط از نویسه‌های پیشین) بسیار بدتر است. هدف‌های جابه‌جانشده: هدف خود ورودی است، پس مدل یاد می‌گیرد نویسه‌ای را که به آن نگاه می‌کند کپی کند. زیان آموزش به سوی تقریباً 0 می‌رود و روی متن ندیده افتضاح است. بدون باقی‌مانده: هر بلوک h را جایگزین می‌کند به جای اینکه به آن اضافه کند، پس آموزش پشته دشوار است و زیان زود متوقف می‌شود.

هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راه‌حل به‌صورت تغییرهای پیکربندی بنویسید که اجرا را به حالت سالم برگرداند. عیب‌های این درس: no_mask, targets_not_shifted, no_residual. یک عیب‌یاب خوب به‌ندرت برای هر مورد به بیش از دو کاوشگر نیاز دارد.

کاوشگرچه چیزی به شما می‌گویداجرای سالم
loss_curve(c)زیان آموزش هر 25 گام و زیان روی متن ندیده در پایان. همیشه اول نگاه کنید.از 4.55 تا حدود 2.9؛ ندیده حدود 3.0
loss_at_init(c)زیان پیش از آموزش. یک مدل تازه که به‌طور یکنواخت روی 95 نویسه حدس می‌زند ln(95) می‌دهد.4.55
leak_check(c)آیا یک نویسهٔ بعدی می‌تواند یک پیش‌بینی پیشین را تغییر دهد؟False
show_batch(c)یک ورودی آموزشی و هدفش، به‌صورت متن.هدف = ورودی که یک نویسه به چپ رفته
update_ratio(c)پس از اولین گام Adam، وزن‌ها نسبت به اندازه‌شان چقدر حرکت کردند. قاعدهٔ ماژول 8 نیست: آن بازهٔ 0.001 تا 0.1 برای گام‌های SGD ساده است. اولین گام Adam هر وزن را، هر گرادیانی داشته باشد، حدود نرخ یادگیری حرکت می‌دهد و این وزن‌ها نزدیک 0.02 شروع می‌کنند، پس 0.01 / 0.02 حدود 0.5 می‌دهد. یک مورد را با این اجرای سالم مقایسه کنید، نه با بازهٔ ماژول 8.حدود 0.5
block_change(c)بلوک اول در آغاز هر بردار را چقدر تغییر می‌دهد.حدود 0.3
واژه‌ها و نمادهای این درس
ln(V)
زیان آغازین مدلی که به‌طور یکنواخت روی V نماد حدس می‌زند: 4.55 برای 95 نویسه
تغییر بلوک
اینکه یک بلوک در آغاز یک بردار را چقدر تغییر می‌دهد؛ نزدیک 1 یعنی جایگزینش کرده
نوبت شما

diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنری‌ای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. پس از راه‌حل شما، هر تنظیم باید با اجرای سالم جور باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.