المواقع كموجات
لماذا هذا مهم تتوقف ناقلات الموقع المتعلمة عند أطول نص شوهد في التدريب. استخدم transformer الأصلي موجات ثابتة بدلا من ذلك، والتي تعطي كل موقع نمطا فريدا وتجعل "3 خطوات بعيداً" تبدو متطابقة أينما حدثت.
للموقع p ومؤشر الزوج i (0, 1, 2, ...)، مع وجود d من الأرقام في المجموع:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
الزوج الأول هو موجة سريعة، والأزواج اللاحقة أبطأ فأبطأ، مثل عقارب الساعة: الثواني، الدقائق، الساعات. معاً تعطي كل وضعية قراءة مميزة.
الخاصية المفيدة: حاصل ضرب النقطة PE[p] . PE[p + k] يعتمد فقط على k، المسافة، وليس على p. (كل زوج يساهم بجيب تمام فرق الزاوية، حسب المتطابقة sin a sin b + cos a cos b = cos(a - b).)
حيث يكون الحقل الآنتستخدم معظم النماذج اللغوية المفتوحة اليوم لا الموجات المضافة إلى المدخلات ولا ناقلات الموقع المتعلمة. RoPE (rotary position embedding, Su et al. 2021) يقوم بتدوير كل ناقل query و key بزاوية تزداد مع موقعه، بعد إسقاطات query و key، بحيث تعتمد الدرجة بين موقعين فقط على مدى بعدهما عن بعضهما. ALiBi (Press et al. 2021) لا يضيف أي ناقلات موقع على الإطلاق: إنه يطرح عقوبة من كل درجة attention تزداد مع المسافة. كلاهما ينتقل بشكل أفضل إلى النصوص الأطول من تلك المستخدمة في التدريب. الموجات هنا هي خيار transformer الأصلي وهي الأسهل في الرؤية.
الكلمات والرموز في هذا الدرس
- query, key, value
- ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- متجه الموقع
- أضيف إلى كل token حتى يتمكن attention من معرفة الترتيب
اكتب positions(n, d) التي تعيد مصفوفة بحجم n في d. ثم اضبط same_distance على أكبر فرق بين PE[p] و PE[p + 5] عبر p من 0 إلى 50 (يجب أن يكون القيمة أساسا 0).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.