سرفصل‌ها درس 141 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

توجه یک جست‌وجوی نرم است

چرا مهم است توجه تنها ایدهٔ تازه در یک ترنسفورمر است. بقیهٔ چیزها را از قبل می‌دانید. یک جست‌وجوی دیکشنری است که به جای برگزیدن یک مدخل، همه را می‌آمیزد.

آن را ببینید

پویانمایی را پخش کنید. یک دیکشنری پایتون یک کلید را دقیقاً جور می‌کند و یک مقدار برمی‌گرداند. توجه یک پرس‌وجو q، فهرستی از کلیدها و فهرستی از مقدارها دارد. پرس‌وجو را با یک ضرب داخلی در برابر هر کلید امتیاز می‌دهد، امتیازها را با softmax به وزن‌ها تبدیل می‌کند (مثبت، با جمع 1) و میانگین وزنی مقدارها را برمی‌گرداند.

weights = softmax(K @ q)
output  = weights @ V

اعداد کوچک

q = [1, 0]. کلیدهای [2, 0]، [0, 2]، [0, 0] امتیازهای 2، 0، 0 می‌دهند. softmax: e^2 = 7.39 و 1 و 1، پس وزن‌ها 0.79، 0.11، 0.11 هستند. با مقدارهای 10، 20، 30 خروجی 0.79 ضرب در 10 + 0.11 ضرب در 20 + 0.11 ضرب در 30 = 13.2 است: بیشتر مقدار اول، کمی از بقیه.

پرس‌وجو، کلید، مقدار: آنچه دنبالش هستم؛ آنچه هر قلم برای جور شدن عرضه می‌کند؛ آنچه هر قلم اگر جور شود تحویل می‌دهد.

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
نوبت شما

attend(q, K, V) را برای یک پرس‌وجو بنویسید: (weights, output) را برگردانید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.