المنهج الدراسي الدرس 200 من 246 · الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

تخمين نموذج أكبر

لماذا هذا مهم تدريب نموذج كبير يكلف شهورا وملايين. قبل أن ينفق أي شخص ذلك، يتوقعون مدى جودته من تشغيلات صغيرة. الحقيقة المفاجئة وراء طفرة الذكاء الاصطناعي هي أن التوقع ينجح عادة. أولا، انظر إلى مدى جودة حدسك الخاص.

النماذج في هذه الوحدة هي نماذج شخصيات صغيرة: هي تقرأ 8 شخصيات وتتنبأ بالتالية. يحدد رقم واحد حجمها، width للطبقة المخفية. درب المساق 150 منها (10 أعراض، 5 كميات بيانات، 3 بذور لكل منها) على 1.5 مليون شخصية من نص درسه الخاص، وقاس خسارة كل واحدة منها على 100,000 شخصية لم ترها أبدا.

يصل نموذج

A width-128 (بواقع 24,401 weights) المدرب على 1.5 مليون tokens إلى loss قدره حوالي 1.86. token هنا هو تنبؤ واحد: حرف واحد.

قبل أن تنظر: نموذج بعرض 1024 يحتوي على أوزان تزيد بمقدار 7.7 مرة. عند تدريبه على نفس البيانات، ما هو الـ loss الذي سيصل إليه؟ بالنسبة للمقياس: التنبؤ بكل حرف باحتمالية متساوية يعطي scores بقيمة 4.42، وأفضل هذه النماذج تحصل على أقل من 2.

الكلمات والرموز في هذا الدرس
token
هنا، تنبؤ واحد: حرف واحد
دورك

اضبط my_guess على الخسارة المحجوزة التي تتوقعها للعرض 1024 عند 1.5 مليون رمز. ثم اضبط actual من التشغيلات المسجّلة (المتوسط على البذور الثلاث)، وerror على مقدار ابتعادك (الفعلي ناقص التخمين).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.