ما الذي تعلمه النموذج عن الحروف
لماذا هذا مهم لا يخبر أحد نموذج اللغة بأن a و e كلاهما حرفان متحركان. إذا وضعتماهما الـ embeddings قريبتين من بعضهما على أي حال، فقد اكتشف النموذج ذلك من النص وحده. هذه هي النظرة الأولى لـ "المعنى" المتعلم من البيانات.
لمقارنة تمثيلين، استخدم cosine similarity: وهو حاصل الضرب النقطي مقسوما على كلا الطولين. تكون القيمة 1 عندما يشير متجهان في نفس الاتجاه، و0 عندما يكونان غير مرتبطين (في زوايا قائمة)، وناقص 1 عندما يشيران في اتجاهين متعاكسين. يتجاهل هذا المقياس الطول، والذي يعكس غالباً عدد مرات ظهور الرمز.
ستنظر داخل نموذج GPT الصغير المسجل في الدورة (الوحدة Module 13 تقوم ببنائه). لقد قرأ نص درس هذه الدورة فقط، حرفا بحرف، مع اعتبار كل حرف كصف من 64 رقما.
توقع أولا: أي مجموعة من أزواج الأحرف ستكون الأكثر تشابها في المتوسط: حرفا علة، أو حرف علة وحرفاً ساكناً، أو رقمين؟
الكلمات والرموز في هذا الدرس
- embedding
- صف الأرقام المتعلمة التي تمثل رمزاً واحداً
- تشابه جيب التمام
- حاصل الضرب القياسي لكل الطولين: 1 في نفس الاتجاه، 0 غير مرتبط، -1 في اتجاه معاكس
اضبط my_prediction على "vowels" أو "mixed" أو "digits". اكتب cosine(a, b) وnearest(ch, k) (الأحرف k الأخرى ذات أعلى cosine مع ch، الأفضل أولاً). ثم املأ group بمتوسط cosine على كل أزواج الأحرف المختلفة داخل كل مجموعة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.