التضمين هو عملية بحث، والبحث هو عملية ضرب
لماذا هذا مهم الشبكة تقوم بالعمليات الحسابية فقط، لكن النص يتكون من رموز. كل نموذج لغة يبدأ بتحويل كل رمز إلى قائمة قصيرة من الأرقام، وهي embedding الخاصة به.
أعطِ كل رمز رقما من 0 إلى V ناقص 1 (هويته). يحتوي جدول التضمين E على صف واحد لكل رمز، وكل صف يحتوي على d من الأرقام. تحويل الهوية إلى أرقام هو ببساطة قراءة صفه: E[id].
لماذا لا تزال هذه طبقة
اكتب المعرف كمتجه one-hot: مصفوفة V من الأصفار مع رقم 1 واحد في الموقع id. ثم عملية one-hot مضروبة في E تختار ذلك الصف بالضبط. لذا فإن embedding هو linear layer يكون مدخله one-hot. نقوم بعملية lookup بدلا من ذلك لأنها تتخطى V ضربات في d بالقيمة صفر.
يخبرك أيضاً كيف يتدرب: يصل gradient فقط إلى الصفوف التي تم استخدامها. الرمز الذي لا يظهر أبداً في batch يحافظ على صفه دون تغيير.
أرقام صغيرة
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. المعرف 1 كتمثيل one-hot هو [0, 1, 0]، وضرب [0, 1, 0] في E يساوي [3, 4]، وهو نفس E[1].
الكلمات والرموز في هذا الدرس
- embedding
- صف الأرقام المتعلمة التي تمثل رمزاً واحداً
- one-hot
- أصفار مع رقم 1 واحد؛ عند ضرب الجدول، يختار صفا واحدا
اكتب onehot(ids, V) التي تعيد مصفوفة بشكل (len(ids), V). ثم اضبط rows_with_gradient على عدد صفوف جدول التضمين التي تحصل على تدرج غير صفري بعد عملية backward pass الموضحة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.