تشغيلاتك الصغيرة الخاصة، مكلفة
لماذا هذا مهمScaling هو بيان عن التكلفة: كم هو أفضل لكل وحدة حساب. لذا كل عملية تشغيل تحتاج إلى سعر، وسعر التدريب بسيط بشكل مفاجئ.
عملية التدريب حوالي 6 عملية لكل وزن لكل رمز : 2 للمرور الأمامي (ضرب واحد وجمع واحد لكل وزن) وحوالي 4 للمرور العكسي (التدرجات للمدخلات وللأوزان). هذه هي قاعدة سجل FLOP التي استخدمتها منذ سطر البداية: scaling.flops(weights, tokens).
هنا تقوم بتدريب ثلاثة نماذج صغيرة مباشرة، كل نموذج على 32,000 token من نص الدورة، وتختلف تكلفتها بنحو 7 مرات.
الكلمات والرموز في هذا الدرس
- token
- هنا، تنبؤ واحد: شخصية واحدة
- FLOPs (6 N D)
- تكلفة التدريب: حوالي 6 عمليات لكل وزن لكل رمز
أحجام تدريب 4 و16 و64 لـ 32,000 token لكل منها (scaling.train(model, 32_000) تعيد الـ loss المحجوز). املأ runs بكل حجم، بالأوزان و الـ FLOPs و الـ loss. ثم حدد cost_ratio: كم مرة زادت تكلفة تشغيل width-64 عن تشغيل width-4.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.