الرموز: دمج الأزواج الأكثر شيوعا
لماذا هذا مهمالنماذج الحقيقية لا تقرأ الحروف أو الكلمات الكاملة. هي تقرأ tokens، وهي أجزاء بينية، يتم إنشاؤها بواسطة قاعدة عد بسيطة. هذا هو السبب في أن النموذج "يرى" كلمة شائعة كقطعة واحدة وكلمة نادرة كعدة قطع.
ترميز أزواج البايت (BPE) يبدأ بأحرف فردية ويكرر خطوة واحدة: البحث عن زوج الرموز المتجاورة الذي يظهر أكثر من غيره في النص، ولصقه في رمز واحد جديد في كل مكان.
مثال صغير
الكلمات "low" (5 مرات) و "lot" (مرتين). الأزواج: l o تظهر 7 مرات، o w تظهر 5 مرات، o t تظهر مرتين. دمج l o: الآن "lo w" و "lo t". بعد ذلك، lo w تظهر 5 مرات: ادمجها، و "low" هي رمز واحد.
تضيف أدوات الترميز الحقيقية شيئين يتركهما هذا الدرس. فهي تبدأ من البايتات لا من الأحرف، لذا يمكن كتابة أي نص بأي لغة، بما في ذلك الرموز التعبيرية، ببداية من 256 رمزاً. وهي تحدّد أين تبدأ الكلمات (يُلصق GPT-2 المسافة في مقدمة الكلمة التالية)، لذا تصبح القطعة في بداية الكلمة والأحرف نفسها داخل الكلمة رموزاً مختلفة. عدد الأحرف لكل كلمة هو تكلفة القراءة حرفاً حرفاً. وينخفض عدد الرموز لكل كلمة كلما أُضيفت عمليات دمج: خطوات أقل وأكبر للنموذج، مقابل مفردات أكبر.
الكلمات والرموز في هذا الدرس
- token، BPE
- نص يقرأه النموذج؛ يقوم byte pair encoding بلصق الزوج المتجاور الأكثر شيوعا، مرارا وتكرارا
اكتب pair_counts(vocab) (كم مرة يظهر كل زوج متجاور، موزوناً بعدد الكلمات) و merge(vocab, pair) (ألصق ذلك الزوج في كل مكان). خمن my_guess، عدد الرموز لكل كلمة بعد 200 دمج (يبدأ من حوالي 4.6). الحلقة مكتوبة لك.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.