سرفصل‌ها درس 146 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

گذر رو به عقب از طریق توجه

چرا مهم است هر کتابخانه‌ای این را برایتان محاسبه می‌کند، اما فقط چهار گام است که از قبل می‌دانید. یک بار به دست آوردنش همان چیزی است که توجه را لایه‌ای می‌کند که می‌فهمید، نه جعبه‌ای که فراخوانی‌اش می‌کنید.

رو به جلو، برای یک دنبالهٔ X (t جایگاه در d): Q = X Wq، K = X Wk، V = X Wv، S = Q KT / sqrt(d)، A = softmax(S) ردیف به ردیف، out = A V. گذر رو به عقب، با داشتن G = dL/d(out)، از همان گام‌ها به‌صورت معکوس می‌گذرد:

  1. out = A V یک ضرب ماتریسی است (قاعدهٔ شکل ماژول 2): dA = G VT و dV = AT G.
  2. A = softmax(S)، ردیف به ردیف (گرادیان softmax ماژول 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) و dK = dST Q / sqrt(d).
  4. Q = X Wq (و همین برای K و V): dWq = XT dQ، dWk = XT dK، dWv = XT dV.

اینجا d عرض پرس‌وجوها و کلیدهاست (تعداد ستون‌های Wq). هیچ قاعدهٔ تازه‌ای هیچ جا ظاهر نمی‌شود: گذر رو به عقب توجه دو ضرب ماتریسی و یک softmax است که رو به عقب اجرا می‌شوند.

خلاصه گام‌ها را به ترتیب معکوس، هر کدام با قاعده‌ای که از قبل دارید، برگردانید.

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
نوبت شما

attention_backward(X, Wq, Wk, Wv, G) را بنویسید که (dWq, dWk, dWv) را برای out = softmax(Q KT / sqrt(d)) V بدون ماسک برمی‌گرداند. آزمون پنهان هر درایه را با جابه‌جایی بررسی می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.