المنهج الدراسي الدرس 134 من 246 · الوحدة 12: الكلمات كأرقام (embeddings)
الوحدة 12: الكلمات كأرقام (embeddings)

التضمين هو عملية بحث، والبحث هو عملية ضرب

لماذا هذا مهم الشبكة تقوم بالعمليات الحسابية فقط، لكن النص يتكون من رموز. كل نموذج لغة يبدأ بتحويل كل رمز إلى قائمة قصيرة من الأرقام، وهي embedding الخاصة به.

أعطِ كل رمز رقما من 0 إلى V ناقص 1 (هويته). يحتوي جدول التضمين E على صف واحد لكل رمز، وكل صف يحتوي على d من الأرقام. تحويل الهوية إلى أرقام هو ببساطة قراءة صفه: E[id].

لماذا لا تزال هذه طبقة

اكتب المعرف كمتجه one-hot: مصفوفة V من الأصفار مع رقم 1 واحد في الموقع id. ثم عملية one-hot مضروبة في E تختار ذلك الصف بالضبط. لذا فإن embedding هو linear layer يكون مدخله one-hot. نقوم بعملية lookup بدلا من ذلك لأنها تتخطى V ضربات في d بالقيمة صفر.

يخبرك أيضاً كيف يتدرب: يصل gradient فقط إلى الصفوف التي تم استخدامها. الرمز الذي لا يظهر أبداً في batch يحافظ على صفه دون تغيير.

أرقام صغيرة

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. المعرف 1 كتمثيل one-hot هو [0, 1, 0]، وضرب [0, 1, 0] في E يساوي [3, 4]، وهو نفس E[1].

الكلمات والرموز في هذا الدرس
embedding
صف الأرقام المتعلمة التي تمثل رمزاً واحداً
one-hot
أصفار مع رقم 1 واحد؛ عند ضرب الجدول، يختار صفا واحدا
دورك

اكتب onehot(ids, V) التي تعيد مصفوفة بشكل (len(ids), V). ثم اضبط rows_with_gradient على عدد صفوف جدول التضمين التي تحصل على تدرج غير صفري بعد عملية backward pass الموضحة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.