سرفصل‌ها درس 159 از 246 · ماژول 14: کلینیک اجرا II
ماژول 14: کلینیک اجرا II

دستور، برای مدل‌های دنباله‌ای

چرا مهم است دو بررسی ماژول 8 (زیان در آغاز، حفظ کردن یک دسته) همچنان به کار می‌آیند. مدل‌های دنباله‌ای راه‌های تازه‌ای برای شکست بی‌صدا اضافه می‌کنند و دو بررسی ارزان بدترینشان را پیش از خرج هر محاسبه‌ای می‌گیرند.

مدل کلینیک یک GPT ریز است: عرض 16، 2 بلوک، 2 سر، 16 نویسه زمینه، 200 گام Adam روی متن دوره. در چند ثانیه آموزش می‌بیند، پس می‌توانید از عهدهٔ کاویدن برآیید.

بررسی 1: زیان آغازین

یک مدل تازه با وزن‌های کوچک حدس‌هایش را به‌طور یکنواخت روی V نویسه پخش می‌کند، پس زیانش ln(V) است. برای 95 نویسه این 4.55 است. بسیار بالاتر از آن یعنی چیزی اشتباه مقیاس داده شده؛ بسیار پایین‌تر یعنی مدل کمکی می‌گیرد که نباید داشته باشد.

بررسی 2: بدون دزدکی نگاه کردن

آخرین نویسهٔ یک ورودی را تغییر دهید. اگر هر پیش‌بینی برای یک جایگاه پیشین تغییر کند، مدل می‌تواند آینده را ببیند (ماژول 13) و هر عدد آموزشی که می‌گیرید بیش از حد خوب است که درست باشد.

کاوشگرچه چیزی به شما می‌گویداجرای سالم
loss_curve(c)زیان آموزش هر 25 گام و زیان روی متن ندیده در پایان. همیشه اول نگاه کنید.از 4.55 تا حدود 2.9؛ ندیده حدود 3.0
loss_at_init(c)زیان پیش از آموزش. یک مدل تازه که به‌طور یکنواخت روی 95 نویسه حدس می‌زند ln(95) می‌دهد.4.55
leak_check(c)آیا یک نویسهٔ بعدی می‌تواند یک پیش‌بینی پیشین را تغییر دهد؟False
show_batch(c)یک ورودی آموزشی و هدفش، به‌صورت متن.هدف = ورودی که یک نویسه به چپ رفته
update_ratio(c)پس از اولین گام Adam، وزن‌ها نسبت به اندازه‌شان چقدر حرکت کردند. قاعدهٔ ماژول 8 نیست: آن بازهٔ 0.001 تا 0.1 برای گام‌های SGD ساده است. اولین گام Adam هر وزن را، هر گرادیانی داشته باشد، حدود نرخ یادگیری حرکت می‌دهد و این وزن‌ها نزدیک 0.02 شروع می‌کنند، پس 0.01 / 0.02 حدود 0.5 می‌دهد. یک مورد را با این اجرای سالم مقایسه کنید، نه با بازهٔ ماژول 8.حدود 0.5
block_change(c)بلوک اول در آغاز هر بردار را چقدر تغییر می‌دهد.حدود 0.3
واژه‌ها و نمادهای این درس
ln(V)
زیان آغازین مدلی که به‌طور یکنواخت روی V نماد حدس می‌زند: 4.55 برای 95 نویسه
بیش از حد خوب برای اینکه درست باشد
زیان آموزش بسیار بهتر از یک اجرای سالم، زیان روی متن ندیده بسیار بدتر
تغییر بلوک
اینکه یک بلوک در آغاز یک بردار را چقدر تغییر می‌دهد؛ نزدیک 1 یعنی جایگزینش کرده
نوبت شما

expected_start(V) و my_leak_check(c) را با استفاده از _init، _logits و DATA خود کلینیک بنویسید. باید با کاوشگرهای کلینیک جور باشند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.