المنهج الدراسي الدرس 203 من 246 · الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

الأوزان، أو البيانات، أو الحوسبة: ما الذي يعيقها؟

لماذا هذا مهم إنفاق المزيد على الشيء الخاطئ لا يشتري شيئا. النموذج الذي يفتقر إلى البيانات لا يتحسن عندما تجعله أكبر؛ والنموذج الصغير لا يتحسن عندما تغذيه بالمزيد. تظهر الشبكة كلاهما، إذا كنت تعرف أين تنظر.

انظر على طول صف في الشبكة (عرض واحد، بيانات أكثر فأكثر) ولأسفل عمود (كمية واحدة من البيانات، نماذج أوسع فأوسع).

تشغيل

يكون data-limited عندما لا يساعد توسيع النموذج تقريبًا (أو يضر) عند هذا القدر من البيانات. وهو model-limited عندما لا يساعد المزيد من البيانات تقريبًا عند هذا العرض.

الكلمات والرموز في هذا الدرس
token
هنا، تنبؤ واحد: حرف واحد
بيانات محدودة، نموذج محدود
عندما يكون هناك عرض أكبر، أو بيانات أكثر، فإن ذلك لا يساعد إلا قليلا
دورك

املأ gain_wider: لـ 8,000 tokens ولـ 1.5 million tokens، انخفاض loss من width 256 إلى width 1024. املأ gain_more_data: لـ width 2 ولـ width 1024، انخفاض loss من 512,000 إلى 1.5 million tokens. ثم اضبط verdict لزاويتين: "data-limited" أو "model-limited".

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.