الانتباه ليس له حس بالترتيب
لماذا هذا مهم "الكلب يعض الإنسان" و "الإنسان يعض الكلب" تستخدمان نفس الكلمات. آلية Self-attention وحدها لا يمكنها التمييز بينهما. رؤية السبب تشرح المكون الإضافي الذي يضيفه كل transformer.
قم بتبديل صفوف X وتتبدل صفوف مخرجات self-attention بنفس الطريقة، ولا يتغير أي شيء آخر. تعتمد نتيجة كل موضع على المتجهات الموجودة، وليس على مكان وجودها. (مع causal mask هذا ليس صحيحا تماما: الموضع i يرى بالضبط i + 1 من tokens، لذا يمكن للنموذج أن يتعلم عدها، والنماذج causal التي لا تحتوي على position vectors تتعلم الترتيب بهذه الطريقة. لكن هذا بطيء وغير موثوق؛ position vectors الصريحة تجعل الترتيب سهلا.)
لذا تضيف الـ transformers متجه position vector إلى تضمين كل token قبل الطبقة الأولى. تعلم نموذج GPT المسجل متجها واحدا لكل position، وعددهم 32. ماذا يحدث لتوقعاته إذا مسحناها؟
الكلمات والرموز في هذا الدرس
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- الانتباه الذاتي
- كل موضع ينتبه لمواقعات النص نفسه
- causal mask
- تُضبط الدرجات فوق القطر على سالب ما لا نهاية: لا يمكن لأي موضع رؤية المستقبل
- متجه الموقع تمت إضافة
- إلى كل token حتى يتمكن attention من معرفة الترتيب
اكتب shuffle_check(f): صحيح إذا كان تبديل صفوف X عشوائيا يبدل صفوف مخرجات f بنفس الطريقة. هنا f(X, Wq, Wk, Wv) تعيد المخرجات فقط، مثل attn أدناه؛ قم بإنشاء X عشوائي وأوزان داخل shuffle_check. ثم املأ with_pos و without_pos: خسارة النموذج المسجل المحجوزة (model.eval_loss(held, n=32)) كما هي ومع model.P["pos"].data مضبوطة على أصفار (أعدها لاحقا).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.