المنهج الدراسي الدرس 156 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

توليد سريع: ذاكرة التخزين المؤقت للمفاتيح والقيم

لماذا هذا مهم تكتب الـ Chatbots رمزاً واحداً في كل مرة. عند التنفيذ بشكل بدائي، يقوم كل رمز جديد بإعادة حساب الـ keys والـ values للنص الكامل حتى الآن. الـ key-value cache هو السبب في تدفق الردود بسرعة.

شاهده

قم بتشغيل الرسوم المتحركة. مع القناع السببي، لا تتغير مفاتيح وقيم المواضع السابقة أبدا عند وصول رموز جديدة. لذا احتفظ بها: لكل رمز جديد قم بحساب q و k و v الخاصة به فقط، أضف k و v إلى cache، وقم بعمل attend باستخدام q فوق المفاتيح المخزنة في cache.

العمل لكل رمز جديد: الطريقة البدائية تحسب t مفاتيح وقيم لنص طوله t؛ بينما تقوم الذاكرة المؤقتة بحساب 1. عبر رد مكون من 1,000 رمز، هذا يعني حوالي 500,000 عملية حساب مفاتيح مقابل 1,000.

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
الانتباه الذاتي
كل موضع ينتبه لمواقعات النص نفسه
causal mask
تُضبط الدرجات فوق القطر على سالب ما لا نهاية: لا يمكن لأي موضع رؤية المستقبل
ذاكرة التخزين المؤقت للمفاتيح والقيم
احتفظ بالمفاتيح والقيم السابقة بحيث تكلف كل رمز جديد خطوة واحدة
دورك

اكتب cached_step(x, cache, Wq, Wk, Wv): x هو صف جديد؛ أضف مفتاحه وقيمته إلى cache["K"] و cache["V"] (قوائم)، وأعد مخرجات attention الخاصة به عبر جميع المواقع المخزنة. يجب أن يؤدي تغذية صفوف X واحداً تلو الآخر إلى إعادة إنتاج causal self-attention بالضبط. حدد keys_naive و keys_cached: عدد ناقلات key التي تحسبها كل طريقة لإنتاج 1,000 token.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.