المنهج الدراسي الدرس 146 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

التراجع عبر الانتباه

لماذا هذا مهم تقوم كل مكتبة بحساب هذا من أجلك، لكنه يتكون من أربع خطوات تعرفها بالفعل. استنتاجه مرة واحدة هو ما يجعل الانتباه طبقة تفهمها، وليس صندوقا تستدعيه.

للأمام، لتسلسل واحد X (بأبعاد t و d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) صفاً بصف، out = A V. التراجع يمر عبر نفس الخطوات بالعكس، بمعلومية G = dL/d(out):

  1. out = A V هي عملية ضرب مصفوفة (قاعدة الشكل في Module 2): dA = G VT و dV = AT G.
  2. A = softmax(S)، صفاً بصف (تدرج softmax في Module 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) and dK = dST Q / sqrt(d).
  4. Q = X Wq (والشيء نفسه لـ K و V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

هنا d هو عرض الاستعلامات والمفاتيح (عدد أعمدة Wq). لا تظهر قاعدة جديدة في أي مكان: التمرير الخلفي للانتباه هو ضرب مصفوفتين و softmax، قم بالتشغيل للخلف.

خلاصة قم بإلغاء الخطوات بترتيب عكسي، كل خطوة بالقاعدة التي لديك بالفعل.

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
دورك

اكتب attention_backward(X, Wq, Wk, Wv, G) التي تعيد (dWq, dWk, dWv) لـ out = softmax(Q KT / sqrt(d)) V بدون mask. يختبر الاختبار المخفي كل مدخل مقابل nudging.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.