توجه یک جستوجوی نرم است
چرا مهم است توجه تنها ایدهٔ تازه در یک ترنسفورمر است. بقیهٔ چیزها را از قبل میدانید. یک جستوجوی دیکشنری است که به جای برگزیدن یک مدخل، همه را میآمیزد.
آن را ببینید
پویانمایی را پخش کنید. یک دیکشنری پایتون یک کلید را دقیقاً جور میکند و یک مقدار برمیگرداند. توجه یک پرسوجو q، فهرستی از کلیدها و فهرستی از مقدارها دارد. پرسوجو را با یک ضرب داخلی در برابر هر کلید امتیاز میدهد، امتیازها را با softmax به وزنها تبدیل میکند (مثبت، با جمع 1) و میانگین وزنی مقدارها را برمیگرداند.
weights = softmax(K @ q)
output = weights @ V
اعداد کوچک
q = [1, 0]. کلیدهای [2, 0]، [0, 2]، [0, 0] امتیازهای 2، 0، 0 میدهند. softmax: e^2 = 7.39 و 1 و 1، پس وزنها 0.79، 0.11، 0.11 هستند. با مقدارهای 10، 20، 30 خروجی 0.79 ضرب در 10 + 0.11 ضرب در 20 + 0.11 ضرب در 30 = 13.2 است: بیشتر مقدار اول، کمی از بقیه.
پرسوجو، کلید، مقدار: آنچه دنبالش هستم؛ آنچه هر قلم برای جور شدن عرضه میکند؛ آنچه هر قلم اگر جور شود تحویل میدهد.
واژهها و نمادهای این درس
- پرسوجو، کلید، مقدار
- آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه میکند؛ آنچه تحویل میدهد
- توجه
- softmax امتیازهای پرسوجو-کلید، که برای میانگین گرفتن مقدارها به کار میرود
attend(q, K, V) را برای یک پرسوجو بنویسید: (weights, output) را برگردانید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.