المنهج الدراسي الدرس 136 من 246 · الوحدة 12: الكلمات كأرقام (embeddings)
الوحدة 12: الكلمات كأرقام (embeddings)

الرموز: دمج الأزواج الأكثر شيوعا

لماذا هذا مهمالنماذج الحقيقية لا تقرأ الحروف أو الكلمات الكاملة. هي تقرأ tokens، وهي أجزاء بينية، يتم إنشاؤها بواسطة قاعدة عد بسيطة. هذا هو السبب في أن النموذج "يرى" كلمة شائعة كقطعة واحدة وكلمة نادرة كعدة قطع.

ترميز أزواج البايت (BPE) يبدأ بأحرف فردية ويكرر خطوة واحدة: البحث عن زوج الرموز المتجاورة الذي يظهر أكثر من غيره في النص، ولصقه في رمز واحد جديد في كل مكان.

مثال صغير

الكلمات "low" (5 مرات) و "lot" (مرتين). الأزواج: l o تظهر 7 مرات، o w تظهر 5 مرات، o t تظهر مرتين. دمج l o: الآن "lo w" و "lo t". بعد ذلك، lo w تظهر 5 مرات: ادمجها، و "low" هي رمز واحد.

تضيف أدوات الترميز الحقيقية شيئين يتركهما هذا الدرس. فهي تبدأ من البايتات لا من الأحرف، لذا يمكن كتابة أي نص بأي لغة، بما في ذلك الرموز التعبيرية، ببداية من 256 رمزاً. وهي تحدّد أين تبدأ الكلمات (يُلصق GPT-2 المسافة في مقدمة الكلمة التالية)، لذا تصبح القطعة في بداية الكلمة والأحرف نفسها داخل الكلمة رموزاً مختلفة. عدد الأحرف لكل كلمة هو تكلفة القراءة حرفاً حرفاً. وينخفض عدد الرموز لكل كلمة كلما أُضيفت عمليات دمج: خطوات أقل وأكبر للنموذج، مقابل مفردات أكبر.

الكلمات والرموز في هذا الدرس
token، BPE
نص يقرأه النموذج؛ يقوم byte pair encoding بلصق الزوج المتجاور الأكثر شيوعا، مرارا وتكرارا
دورك

اكتب pair_counts(vocab) (كم مرة يظهر كل زوج متجاور، موزوناً بعدد الكلمات) و merge(vocab, pair) (ألصق ذلك الزوج في كل مكان). خمن my_guess، عدد الرموز لكل كلمة بعد 200 دمج (يبدأ من حوالي 4.6). الحلقة مكتوبة لك.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.