متوسط أفضل، نفس المهارة
لماذا هذا مهم "نموذجنا لديه loss أقل" هو الادعاء الأكثر شيوعا في language modelling. الـ loss هو متوسط لكل prediction، ويمكن للمتوسط أن يتحسن دون أن يتحسن الجزء الذي تهتم بتحسينه على الإطلاق.
سجّلت الدورة نموذجَي GPT مدرّبين بالطريقة نفسها، بعرض 32 و64. للأعرض خسارة محجوزة أقل. لكن التنبؤات ليست كلها متشابهة: إكمال كلمة بدأتها ("gradi" ثم "e") سهل؛ أما اختيار الحرف الأول من الكلمة التالية فهو اختيار لما ستقوله بعد ذلك، وهو صعب.
judge.per_position(model, X, Y) يعطي قيمة loss لكل تنبؤ. احسب المتوسط عبر جميع المواقع، وعبر الحروف الأولى للكلمات، وعبر بقية كل كلمة.
تنبؤ أول: هل يصبح النموذج الأوسع أفضل في اختيار الكلمة التالية؟
الكلمات والرموز في هذا الدرس
- seed
- الرقم الذي يحدد خيارات العشوائية في run؛ بذور أخرى تعطي نتائج أخرى
اجعل my_guess "yes" أو "no". املأ loss[width] بـ dict من 'all' و 'first letter' و 'inside word' لعروض 32 و 64. اجعل gain_from نوع الموضع ("first letter" أو "inside word") الذي يأتي منه كسب النموذج الأوسع.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.