سرفصل‌ها درس 161 از 246 · ماژول 14: کلینیک اجرا II
ماژول 14: کلینیک اجرا II

کلینیک: اندازهٔ گام و وزن‌های آغازین

چرا مهم است عیب‌های نرخ یادگیری و مقیاس ماژول 8 برمی‌گردند، با اثر انگشت Adam روی آن‌ها.

با Adam، هر وزن در اولین گام، هر گرادیانی داشته باشد، حدود نرخ یادگیری حرکت می‌کند. پس نسبت به‌روزرسانی خوانشی مستقیم از اندازهٔ گام است: در اجرای سالم حدود 0.5 (0.01 در برابر وزن‌هایی نزدیک 0.02)، وقتی نرخ بسیار بالاست حدود 15 (آن‌گاه زیان تلوتلو می‌خورد) و وقتی بسیار پایین است حدود 0.0005 (زیان به‌سختی از 4.55 جدا می‌شود). وزن‌های آغازینی که بسیار بزرگ‌اند همان پیش‌بینی‌های نخست را به‌طرز وحشیانه‌ای مطمئن و اشتباه می‌کنند: زیان آغازین بسیار بالاتر از 4.55 است.

هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راه‌حل به‌صورت تغییرهای پیکربندی بنویسید که اجرا را به حالت سالم برگرداند. عیب‌های این درس: lr_too_high, lr_too_low, init_too_big. یک عیب‌یاب خوب به‌ندرت برای هر مورد به بیش از دو کاوشگر نیاز دارد.

کاوشگرچه چیزی به شما می‌گویداجرای سالم
loss_curve(c)زیان آموزش هر 25 گام و زیان روی متن ندیده در پایان. همیشه اول نگاه کنید.از 4.55 تا حدود 2.9؛ ندیده حدود 3.0
loss_at_init(c)زیان پیش از آموزش. یک مدل تازه که به‌طور یکنواخت روی 95 نویسه حدس می‌زند ln(95) می‌دهد.4.55
leak_check(c)آیا یک نویسهٔ بعدی می‌تواند یک پیش‌بینی پیشین را تغییر دهد؟False
show_batch(c)یک ورودی آموزشی و هدفش، به‌صورت متن.هدف = ورودی که یک نویسه به چپ رفته
update_ratio(c)پس از اولین گام Adam، وزن‌ها نسبت به اندازه‌شان چقدر حرکت کردند. قاعدهٔ ماژول 8 نیست: آن بازهٔ 0.001 تا 0.1 برای گام‌های SGD ساده است. اولین گام Adam هر وزن را، هر گرادیانی داشته باشد، حدود نرخ یادگیری حرکت می‌دهد و این وزن‌ها نزدیک 0.02 شروع می‌کنند، پس 0.01 / 0.02 حدود 0.5 می‌دهد. یک مورد را با این اجرای سالم مقایسه کنید، نه با بازهٔ ماژول 8.حدود 0.5
block_change(c)بلوک اول در آغاز هر بردار را چقدر تغییر می‌دهد.حدود 0.3
واژه‌ها و نمادهای این درس
ln(V)
زیان آغازین مدلی که به‌طور یکنواخت روی V نماد حدس می‌زند: 4.55 برای 95 نویسه
تغییر بلوک
اینکه یک بلوک در آغاز یک بردار را چقدر تغییر می‌دهد؛ نزدیک 1 یعنی جایگزینش کرده
نوبت شما

diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنری‌ای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. پس از راه‌حل شما، هر تنظیم باید با اجرای سالم جور باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.