سرهای بسیار، همان هزینه
چرا مهم است یک الگوی توجه در هر لایه محدودکننده است: یک جایگاه ممکن است بخواهد به نویسهٔ قبلی و همزمان به آغاز واژه نگاه کند. توجه چندسری چند توجه کوچکتر را کنار هم اجرا میکند.
آن را ببینید
پویانمایی را پخش کنید. d ستون Q، K و V را به H گروه d / H تایی تقسیم کنید. هر گروه (یک سر) توجه خودش را با الگوی خودش انجام میدهد. H خروجی را دوباره کنار هم به d ستون بچسبانید، سپس آنها را با یک ماتریس دیگر Wo بیامیزید.
هزینه: همان ماتریسهای یک سر بزرگ، فقط تکهتکه، پس تعداد پارامترها تغییر نمیکند. هر سر باریکتر است، پس بر ریشهٔ دوم d / H تقسیم میکند.
واژهها و نمادهای این درس
- توجه
- softmax امتیازهای پرسوجو-کلید، که برای میانگین گرفتن مقدارها به کار میرود
- سر (head)
- یکی از H توجه باریکتر که کنار هم اجرا میشوند، هر کدام با الگوی خودش
multi_head(X, Wq, Wk, Wv, Wo, H) (بدون ماسک) را بنویسید که خروجی و فهرستی از H ماتریس توجه را برمیگرداند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.