سرفصل‌ها درس 145 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

ماسک علّی: بدون دزدکی نگاه کردن

چرا مهم است مدلی که برای پیش‌بینی نویسهٔ بعدی آموزش دیده نباید نویسهٔ بعدی را ببیند. بدون ماسک می‌تواند به‌سادگی پاسخ را کپی کند، در آموزش عالی به نظر برسد و سپس در تولید شکست بخورد، چون در زمان تولید آینده هنوز وجود ندارد.

آن را ببینید

پویانمایی را پخش کنید. جایگاه i فقط می‌تواند به جایگاه‌های 0 تا i توجه کند. پیش از softmax، هر امتیاز بالای قطر برابر منفی بی‌نهایت قرار داده می‌شود، پس وزنش دقیقاً 0 می‌شود. آن‌گاه وزن‌ها یک مثلث پایینی می‌سازند.

آزمون یک نشت مستقیم است: نویسه‌ای را در جایگاه j تغییر دهید، و هیچ چیزی که مدل برای جایگاه‌های پیش از j محاسبه می‌کند نباید تغییر کند.

وقتی دوره یک GPT با عرض 32 را 1,200 گام بدون ماسک آموزش داد، زیان آموزشش به 0.10 رسید، در برابر 1.51 با ماسک: یاد گرفته بود پاسخ را از جایگاه بعدی، تقریباً بی‌نقص، کپی کند. با سنجش صادقانه، روی متن ندیده و بدون اجازهٔ نگاه به جلو، زیانش 8.6 در برابر 2.3 بود. عدد پایین‌تر دروغ بود: مدل بسیار بدتر بود. (در اوایل، در 400 گام، دو اجرا هنوز شبیه هم بودند، 2.28 در برابر 2.24. کشف کپی کردن مدتی طول می‌کشد و سپس چیره می‌شود.)

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
ماسک علّی
امتیازهای بالای قطر برابر منفی بی‌نهایت: هیچ جایگاهی آینده را نمی‌بیند
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نوبت شما

causal_attention(X, Wq, Wk, Wv) را مثل درس 4 اما با ماسک بنویسید. سپس leaks(f): اگر تغییر آخرین ردیف یک X تصادفی هر ردیف پیشین از خروجی f را تغییر دهد True برگردانید. اینجا f هر تابع توجهی است که مثل تابع شما، f(X, Wq, Wk, Wv)، فراخوانی می‌شود و (output, weights) را برمی‌گرداند؛ X و وزن‌های تصادفی را درون leaks بسازید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.