سرفصل‌ها درس 155 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

سرها به چه نگاه می‌کنند

چرا مهم است وزن‌های توجه را می‌توان خواند. نگاه به آنچه سرهای آموزش‌دیده انجام می‌دهند آغاز تفسیرپذیری است: فهمیدن یک مدل از درونیاتش، نه فقط خروجی‌هایش.

مدل ثبت‌شدهٔ عرض 64، 2 لایه از 4 سر دارد. برای هر سر بسنجید یک جایگاه به‌طور میانگین چه مقدار توجه به نویسهٔ درست پیش از خودش می‌دهد. اگر سری توجهش را به‌طور یکنواخت روی هر چیزی که می‌تواند ببیند پخش می‌کرد، آن عدد روی یک تکهٔ 32 نویسه‌ای حدود 0.10 بود.

پیش‌بینی کنید: سرهای کدام لایه در «به نویسهٔ قبلی نگاه کن» تخصص پیدا می‌کنند؟

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نوبت شما

my_guess را برابر 0 یا 1 قرار دهید. prev_share(A) را برای یک ماتریس توجه t در t بنویسید: میانگین A[i, i - 1] برای i از 1 تا t - 1. share را پر کنید: (layer, head) به میانگین prev_share روی 40 تکهٔ کنار گذاشته‌شده، با استفاده از attention_maps.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.