الأوزان، أو البيانات، أو الحوسبة: ما الذي يعيقها؟
لماذا هذا مهم إنفاق المزيد على الشيء الخاطئ لا يشتري شيئا. النموذج الذي يفتقر إلى البيانات لا يتحسن عندما تجعله أكبر؛ والنموذج الصغير لا يتحسن عندما تغذيه بالمزيد. تظهر الشبكة كلاهما، إذا كنت تعرف أين تنظر.
انظر على طول صف في الشبكة (عرض واحد، بيانات أكثر فأكثر) ولأسفل عمود (كمية واحدة من البيانات، نماذج أوسع فأوسع).
تشغيليكون data-limited عندما لا يساعد توسيع النموذج تقريبًا (أو يضر) عند هذا القدر من البيانات. وهو model-limited عندما لا يساعد المزيد من البيانات تقريبًا عند هذا العرض.
الكلمات والرموز في هذا الدرس
- token
- هنا، تنبؤ واحد: حرف واحد
- بيانات محدودة، نموذج محدود
- عندما يكون هناك عرض أكبر، أو بيانات أكثر، فإن ذلك لا يساعد إلا قليلا
املأ gain_wider: لـ 8,000 tokens ولـ 1.5 million tokens، انخفاض loss من width 256 إلى width 1024. املأ gain_more_data: لـ width 2 ولـ width 1024، انخفاض loss من 512,000 إلى 1.5 million tokens. ثم اضبط verdict لزاويتين: "data-limited" أو "model-limited".
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.