المنهج الدراسي الدرس 201 من 246 · الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

تشغيلاتك الصغيرة الخاصة، مكلفة

لماذا هذا مهمScaling هو بيان عن التكلفة: كم هو أفضل لكل وحدة حساب. لذا كل عملية تشغيل تحتاج إلى سعر، وسعر التدريب بسيط بشكل مفاجئ.

تتكلف

عملية التدريب حوالي 6 عملية لكل وزن لكل رمز : 2 للمرور الأمامي (ضرب واحد وجمع واحد لكل وزن) وحوالي 4 للمرور العكسي (التدرجات للمدخلات وللأوزان). هذه هي قاعدة سجل FLOP التي استخدمتها منذ سطر البداية: scaling.flops(weights, tokens).

هنا تقوم بتدريب ثلاثة نماذج صغيرة مباشرة، كل نموذج على 32,000 token من نص الدورة، وتختلف تكلفتها بنحو 7 مرات.

الكلمات والرموز في هذا الدرس
token
هنا، تنبؤ واحد: شخصية واحدة
FLOPs (6 N D)
تكلفة التدريب: حوالي 6 عمليات لكل وزن لكل رمز
دورك

أحجام تدريب 4 و16 و64 لـ 32,000 token لكل منها (scaling.train(model, 32_000) تعيد الـ loss المحجوز). املأ runs بكل حجم، بالأوزان و الـ FLOPs و الـ loss. ثم حدد cost_ratio: كم مرة زادت تكلفة تشغيل width-64 عن تشغيل width-4.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.