کلینیک: اندازهٔ گام و وزنهای آغازین
چرا مهم است عیبهای نرخ یادگیری و مقیاس ماژول 8 برمیگردند، با اثر انگشت Adam روی آنها.
با Adam، هر وزن در اولین گام، هر گرادیانی داشته باشد، حدود نرخ یادگیری حرکت میکند. پس نسبت بهروزرسانی خوانشی مستقیم از اندازهٔ گام است: در اجرای سالم حدود 0.5 (0.01 در برابر وزنهایی نزدیک 0.02)، وقتی نرخ بسیار بالاست حدود 15 (آنگاه زیان تلوتلو میخورد) و وقتی بسیار پایین است حدود 0.0005 (زیان بهسختی از 4.55 جدا میشود). وزنهای آغازینی که بسیار بزرگاند همان پیشبینیهای نخست را بهطرز وحشیانهای مطمئن و اشتباه میکنند: زیان آغازین بسیار بالاتر از 4.55 است.
هر مورد زیر یک اجرای آموزش است که یک عیب در آن کاشته شده. برای هر کدام: کاوشگرها را برای پیدا کردن عیب خرج کنید، سپس یک راهحل بهصورت تغییرهای پیکربندی بنویسید که اجرا را به حالت سالم برگرداند. عیبهای این درس: lr_too_high, lr_too_low, init_too_big. یک عیبیاب خوب بهندرت برای هر مورد به بیش از دو کاوشگر نیاز دارد.
| کاوشگر | چه چیزی به شما میگوید | اجرای سالم |
|---|---|---|
loss_curve(c) | زیان آموزش هر 25 گام و زیان روی متن ندیده در پایان. همیشه اول نگاه کنید. | از 4.55 تا حدود 2.9؛ ندیده حدود 3.0 |
loss_at_init(c) | زیان پیش از آموزش. یک مدل تازه که بهطور یکنواخت روی 95 نویسه حدس میزند ln(95) میدهد. | 4.55 |
leak_check(c) | آیا یک نویسهٔ بعدی میتواند یک پیشبینی پیشین را تغییر دهد؟ | False |
show_batch(c) | یک ورودی آموزشی و هدفش، بهصورت متن. | هدف = ورودی که یک نویسه به چپ رفته |
update_ratio(c) | پس از اولین گام Adam، وزنها نسبت به اندازهشان چقدر حرکت کردند. قاعدهٔ ماژول 8 نیست: آن بازهٔ 0.001 تا 0.1 برای گامهای SGD ساده است. اولین گام Adam هر وزن را، هر گرادیانی داشته باشد، حدود نرخ یادگیری حرکت میدهد و این وزنها نزدیک 0.02 شروع میکنند، پس 0.01 / 0.02 حدود 0.5 میدهد. یک مورد را با این اجرای سالم مقایسه کنید، نه با بازهٔ ماژول 8. | حدود 0.5 |
block_change(c) | بلوک اول در آغاز هر بردار را چقدر تغییر میدهد. | حدود 0.3 |
واژهها و نمادهای این درس
- ln(V)
- زیان آغازین مدلی که بهطور یکنواخت روی V نماد حدس میزند: 4.55 برای 95 نویسه
- تغییر بلوک
- اینکه یک بلوک در آغاز یک بردار را چقدر تغییر میدهد؛ نزدیک 1 یعنی جایگزینش کرده
diagnosis (مورد به نام عیب) و fixes (مورد به دیکشنریای از تغییرهای پیکربندی) را برای موردهای A، B و C پر کنید. پس از راهحل شما، هر تنظیم باید با اجرای سالم جور باشد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.