المنهج الدراسي الدرس 230 من 246 · الوحدة 22: الحكم على الادعاءات
الوحدة 22: الحكم على الادعاءات

متوسط أفضل، نفس المهارة

لماذا هذا مهم "نموذجنا لديه loss أقل" هو الادعاء الأكثر شيوعا في language modelling. الـ loss هو متوسط لكل prediction، ويمكن للمتوسط أن يتحسن دون أن يتحسن الجزء الذي تهتم بتحسينه على الإطلاق.

سجّلت الدورة نموذجَي GPT مدرّبين بالطريقة نفسها، بعرض 32 و64. للأعرض خسارة محجوزة أقل. لكن التنبؤات ليست كلها متشابهة: إكمال كلمة بدأتها ("gradi" ثم "e") سهل؛ أما اختيار الحرف الأول من الكلمة التالية فهو اختيار لما ستقوله بعد ذلك، وهو صعب.

judge.per_position(model, X, Y) يعطي قيمة loss لكل تنبؤ. احسب المتوسط عبر جميع المواقع، وعبر الحروف الأولى للكلمات، وعبر بقية كل كلمة.

تنبؤ أول: هل يصبح النموذج الأوسع أفضل في اختيار الكلمة التالية؟

الكلمات والرموز في هذا الدرس
seed
الرقم الذي يحدد خيارات العشوائية في run؛ بذور أخرى تعطي نتائج أخرى
دورك

اجعل my_guess "yes" أو "no". املأ loss[width] بـ dict من 'all' و 'first letter' و 'inside word' لعروض 32 و 64. اجعل gain_from نوع الموضع ("first letter" أو "inside word") الذي يأتي منه كسب النموذج الأوسع.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.