تخمين نموذج أكبر
لماذا هذا مهم تدريب نموذج كبير يكلف شهورا وملايين. قبل أن ينفق أي شخص ذلك، يتوقعون مدى جودته من تشغيلات صغيرة. الحقيقة المفاجئة وراء طفرة الذكاء الاصطناعي هي أن التوقع ينجح عادة. أولا، انظر إلى مدى جودة حدسك الخاص.
النماذج في هذه الوحدة هي نماذج شخصيات صغيرة: هي تقرأ 8 شخصيات وتتنبأ بالتالية. يحدد رقم واحد حجمها، width للطبقة المخفية. درب المساق 150 منها (10 أعراض، 5 كميات بيانات، 3 بذور لكل منها) على 1.5 مليون شخصية من نص درسه الخاص، وقاس خسارة كل واحدة منها على 100,000 شخصية لم ترها أبدا.
يصل نموذجA width-128 (بواقع 24,401 weights) المدرب على 1.5 مليون tokens إلى loss قدره حوالي 1.86. token هنا هو تنبؤ واحد: حرف واحد.
قبل أن تنظر: نموذج بعرض 1024 يحتوي على أوزان تزيد بمقدار 7.7 مرة. عند تدريبه على نفس البيانات، ما هو الـ loss الذي سيصل إليه؟ بالنسبة للمقياس: التنبؤ بكل حرف باحتمالية متساوية يعطي scores بقيمة 4.42، وأفضل هذه النماذج تحصل على أقل من 2.
الكلمات والرموز في هذا الدرس
- token
- هنا، تنبؤ واحد: حرف واحد
اضبط my_guess على الخسارة المحجوزة التي تتوقعها للعرض 1024 عند 1.5 مليون رمز. ثم اضبط actual من التشغيلات المسجّلة (المتوسط على البذور الثلاث)، وerror على مقدار ابتعادك (الفعلي ناقص التخمين).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.