سرفصل‌ها درس 144 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

خودتوجهی: هر جایگاه از هر جایگاه دیگر می‌پرسد

چرا مهم است در یک ترنسفورمر رمزگذار جداگانه‌ای برای نگاه به عقب نیست. هر جایگاه متن به بقیه توجه می‌کند، پس بردار هر نویسه با اطلاعاتی از بقیهٔ جمله به‌روز می‌شود.

با X، یک ردیف برای هر جایگاه (t ردیف، d ستون)، شروع کنید. سه ماتریس یادگرفته‌شده پرس‌وجو، کلید و مقدار هر جایگاه را با هم می‌سازند:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

این همان جست‌وجوی نرم درس 1 است، که برای همهٔ t پرس‌وجو با هم با دو ضرب ماتریسی انجام شده، و به همین دلیل روی روال‌های ریاضی سریع این‌قدر خوب اجرا می‌شود.

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
خودتوجهی
هر جایگاه به جایگاه‌های همان متن توجه می‌کند
نوبت شما

self_attention(X, Wq, Wk, Wv) را بنویسید که (out, A) را برمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.