سرها به چه نگاه میکنند
چرا مهم است وزنهای توجه را میتوان خواند. نگاه به آنچه سرهای آموزشدیده انجام میدهند آغاز تفسیرپذیری است: فهمیدن یک مدل از درونیاتش، نه فقط خروجیهایش.
مدل ثبتشدهٔ عرض 64، 2 لایه از 4 سر دارد. برای هر سر بسنجید یک جایگاه بهطور میانگین چه مقدار توجه به نویسهٔ درست پیش از خودش میدهد. اگر سری توجهش را بهطور یکنواخت روی هر چیزی که میتواند ببیند پخش میکرد، آن عدد روی یک تکهٔ 32 نویسهای حدود 0.10 بود.
پیشبینی کنید: سرهای کدام لایه در «به نویسهٔ قبلی نگاه کن» تخصص پیدا میکنند؟
واژهها و نمادهای این درس
- توجه
- softmax امتیازهای پرسوجو-کلید، که برای میانگین گرفتن مقدارها به کار میرود
- سر (head)
- یکی از H توجه باریکتر که کنار هم اجرا میشوند، هر کدام با الگوی خودش
my_guess را برابر 0 یا 1 قرار دهید. prev_share(A) را برای یک ماتریس توجه t در t بنویسید: میانگین A[i, i - 1] برای i از 1 تا t - 1. share را پر کنید: (layer, head) به میانگین prev_share روی 40 تکهٔ کنار گذاشتهشده، با استفاده از attention_maps.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.