سرفصل‌ها درس 147 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

سرهای بسیار، همان هزینه

چرا مهم است یک الگوی توجه در هر لایه محدودکننده است: یک جایگاه ممکن است بخواهد به نویسهٔ قبلی و همزمان به آغاز واژه نگاه کند. توجه چندسری چند توجه کوچک‌تر را کنار هم اجرا می‌کند.

آن را ببینید

پویانمایی را پخش کنید. d ستون Q، K و V را به H گروه d / H تایی تقسیم کنید. هر گروه (یک سر) توجه خودش را با الگوی خودش انجام می‌دهد. H خروجی را دوباره کنار هم به d ستون بچسبانید، سپس آن‌ها را با یک ماتریس دیگر Wo بیامیزید.

هزینه: همان ماتریس‌های یک سر بزرگ، فقط تکه‌تکه، پس تعداد پارامترها تغییر نمی‌کند. هر سر باریک‌تر است، پس بر ریشهٔ دوم d / H تقسیم می‌کند.

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نوبت شما

multi_head(X, Wq, Wk, Wv, Wo, H) (بدون ماسک) را بنویسید که خروجی و فهرستی از H ماتریس توجه را برمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.