المنهج الدراسي الدرس 142 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

لماذا نقسم على الجذر التربيعي لـ d

لماذا هذا مهميقوم كل transformer بقسمة درجات الانتباه الخاصة به على الجذر التربيعي لحجم key. إذا استبعدت هذا، سيتوقف الانتباه عن الدمج وتتلاشى التدرجات الخاصة به تقريبًا. ستقوم بقياس السبب.

A حاصل ضرب نقطي لمتجهين عشوائيين بطول d يجمع d من النواتج. كل منهما له تشتت يقارب 1، لذا فإن المجموع له تشتت يقارب الجذر التربيعي لـ d. السبب: عندما تجمع أرقاماً عشوائية مستقلة، فإن تشتتاتها لا يُجمع، بل مربعاتها هي التي تُجمع (تسمى المربعات التباينات). d من النواتج، كل منها بتباين 1، تعطي تبايناً قدره d، لذا فإن التشتت هو الجذر التربيعي لـ d. بالنسبة لـ d = 64 فإن ذلك يساوي 8.

تؤدي درجات

الموزعة على أكثر من 8 أو أكثر في الاتجاهين الموجب والسالب إلى جعل softmax قريبة من one-hot: وزن واحد قريب من 1، والبقية قريبة من 0. تمتلك softmax من نوع one-hot تدرجات صغيرة: ميل كل مخرج بالنسبة لدرجته الخاصة هو p(1 - p)، وهو قريب من 0 عندما يكون p قريبا من 0 أو 1 (درس softmax-gradient في Module 2 يشتقه، ودرس backward-through-attention في هذا الوحدة يستخدمه)، لذا يتعلم النموذج ببطء. القسمة على الجذر التربيعي لـ d تعيد الانتشار إلى حوالي 1، مهما كانت قيمة d.

توقّع: مع نمو d من 4 إلى 256، ماذا يحدث لأكبر وزن، مع وبدون القسمة؟

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
دورك

املأ

my_guess. ثم اكتب top_weight(d, scaled): 2,000 استعلام عشوائي ضد 32 مفتاحا عشوائيا لكل منها (أرقام عادية، seed 0)، ومتوسط أكبر وزن softmax. املأ measured.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.