المنهج الدراسي الدرس 107 من 250 · حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي
حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي

آلية الانتباه الذاتي من الصفر

لقد قمت ببناء عصبون ومرور أمامي. الآن ستبني الفكرة الواحدة التي حولت الشبكات العصبية البسيطة إلى transformers، ومن هناك، إلى نماذج اللغات الكبيرة خلف كل مساعد دردشة: self-attention. إنها مجرد مجموعة من عمليات ضرب المصفوفات، ويمكنك القيام بالعملية كاملة باستخدام numpy.

الحدس

تخيل أن كل كلمة في جملة تريد جمع معلومات من الكلمات الأخرى. يوفر Self-attention لكل موضع ثلاثة ناقلات:

  • A query (Q): ما الذي يبحث عنه هذا الموقع.
  • A key (K): ما الذي يقدمه كل موضع، ويستخدم للمطابقة.
  • A value (V): المعلومات الفعلية التي يحملها كل موضع.
تقارن

A استعلامها مقابل كل مفتاح لتحدد مقدار الاستماع لكل موضع، ثم تأخذ مزيجاً موزوناً من القيم باستخدام تلك المقادير. تطابق قوي -> وزن كبير -> تساهم تلك القيمة بشكل أكبر. هذه هي الآلية بأكملها: الاستعلامات تنتبه للمفاتيح، والإجابة هي مزيج موزون من القيم.

الرياضيات: الانتباه بناتج الضرب النقطي المقيس

درجة التطابق بين query و key هي dot product (تكون أكبر عندما يشيران إلى نفس الاتجاه). ضع جميع الـ queries في matrix Q وجميع الـ keys في K، وكل الدرجات دفعة واحدة هي Q @ K.T. نقسم على sqrt(d_k) (بعد الـ key) حتى لا تتضخم الدرجات مع زيادة طول الـ vectors:

scores = Q @ K.T / np.sqrt(d_k)

لماذا نقسم أصلا؟ ينمو حاصل الضرب النقطي مع البعد. إذا كانت d_k هي 64 وكانت المدخلات حول 1، فإن النتائج الخام تقترب من 64، والأرقام بهذا الحجم تدفع softmax نحو مفتاح واحد وتجعل التدرج مسطحا. القسمة على sqrt(d_k)، وهي هنا sqrt(64) = 8، تعيد النتائج إلى نطاق معقول ليبقى الانتباه سلسا وقابلا للتدريب. في مثال d_k = 1 الصغير الذي ستشغله أدناه، يكون المقسوم عليه هو 1 فقط، لذا لن تلاحظ تأثيره، لكنه ضروري في أحجام النماذج الحقيقية.

يحتوي كل صف من scores على درجات استعلام واحد مقابل كل مفتاح. نحوّل كل صف إلى أوزان موجبة مجموعها 1 باستخدام softmax على المحور الأخير:

weights = softmax(scores, axis=-1)   # each row sums to 1

Softmax تقوم بالرفع إلى أس exponentiates وتطبيع normalize. عند تنفيذها بشكل بدائي، فإن np.exp لدرجة كبيرة تؤدي إلى overflow إلى inf وتظهر الأوزان كـ nan. الحل هو خدعة numerically stable القياسية: اطرح الحد الأقصى لكل صف قبل الرفع إلى أس. هذا لا يغير النتيجة رياضيا (الثابت نفسه يلغي نفسه في البسط والمقام)، لكنه يحافظ على كل exponent <= 0:

def softmax(x):
    x = x - x.max(axis=-1, keepdims=True)   # stability: largest exponent is now 0
    e = np.exp(x)
    return e / e.sum(axis=-1, keepdims=True)

أخيرا، مخرجات كل استعلام هي أوزانها المطبقة على القيم، وهو ضرب مصفوفة إضافي:

output = weights @ V

بجمعها معاً، الصيغة الشهيرة هي ببساطة softmax(Q @ K.T / sqrt(d_k)) @ V. إذا كان Q هو (n, d_k)، وK هو (m, d_k)، وV هو (m, d_v)، فإن weights هو (n, m) وoutput هو (n, d_v): متجه مخرج واحد لكل استعلام، كل منها مزيج من صفوف القيم.

هذه هي خدعة transformer كاملة

لا يتوقف

A transformer حقيقي عند عملية حساب واحدة للانتباه. يقوم Multi-head attention بتشغيل العديد من هذه العمليات بالتوازي (كل head يتعلم إسقاطات Q و K و V الخاصة به، لذا تنتبه رؤوس مختلفة إلى أشياء مختلفة) ثم يدمج النتائج. يقوم block transformer بعد ذلك بتكديس الانتباه مع شبكة feed-forward صغيرة واتصال residual، ويقوم النموذج بتكديس عشرات من هذه الكتل. لكن القلب النابض لكل واحد منها هو بالضبط الدالة التي ستكتبها الآن: scores، و stable softmax، و weighted sum of values. ابنِ هذا وستفهم العملية الأساسية التي يكررها LLM عندما "ينتبه" للمطالبة.

تحذير صادق واحد: هنا يتم تسليمك Q و K و V كمصفوفات ثابتة. في النموذج الحقيقي لا يتم إعطاؤها، بل يتم إنتاجها عن طريق ضرب تضمين كل token في ثلاث مصفوفات أوزان متعلمة، W_q و W_k و W_v. تلك المصفوفات، وتلك الموجودة في كل block، هي بالضبط ما يعدله التدريب باستخدام gradient descent من الدرس الماضي. لذا فإن ما تبنيه هنا هو النواة الثابتة لـ attention وهي متطابقة في كل transformer؛ التعلم يكمن في الـ projections التي تغذيه.

اضغط على Run لرؤية كيف يقوم attention بتحويل Q/K/V صغيرة إلى مخرجات وطباعة weight matrix حتى تتمكن من معرفة من انتبه إلى من.

دورك

قم بتنفيذ scaled dot-product attention باستخدام numpy. اكتب attention(Q, K, V) التي تعيد tuple من نوع (output, weights). احسب scores = Q @ K.T / np.sqrt(d_k) حيث d_k هو البعد الأخير من Q؛ طبق numerically stable softmax على المحور الأخير (اطرح الحد الأقصى لكل صف قبل np.exp) للحصول على weights التي مجموع صفوفها يساوي 1؛ ثم output = weights @ V. أعد output أولا، ثم مصفوفة weights. ثم قم بتعيين out, w = attention(Q, K, V) للمصفوفات المقدمة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.