أفضل استخدام لميزانية ثابتة
لماذا هذا مهم بميزانية حوسبة ثابتة C، يرى النموذج الأكبر عدداً أقل من الرموز (C = 6 N D). إذا كان كبيراً جداً فإنه يعاني من نقص البيانات، وإذا كان صغيراً جداً فإنه يمتلئ قبل نفاد الميزانية. في عام 2022 أظهرت هذه العملية الحسابية (ورقة "Chinchilla") أن معظم النماذج الكبيرة في ذلك الوقت كانت كبيرة جداً بالنسبة للبيانات التي تدربت عليها.
تطبيق كلا التأثيرين في وقت واحد:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d يتناسب مع جميع الـ 150 runs. ثم بالنسبة لميزانية C، كل عرض N يحدد D = C / (6 N)، والمعادلة تتنبأ بالخسارة: اختر العرض ذو أدنى تنبؤ. scaling.params_of(width) يعطي أوزان العرض.
فيما هو عليه الحقل الآن قام Hoffmann وآخرون (2022، "Chinchilla") بملاءمة هذا النموذج ثنائي المتغيرات نفسه لنماذج اللغة الكبيرة ووجدوا التقسيم الأمثل للحوسبة عند حوالي 20 رمز تدريب لكل وزن. تقوم المختبرات الآن غالبا بالتدريب لما بعد ذلك بكثير (رموز أكثر بكثير لنموذج أصغر)، لأن النموذج الأصغر أرخص في كل مرة يجيب فيها: التقسيم الأمثل للحوسبة للتدريب ليس أمثلاً للاستخدام. وعندما يجعلون النموذج أوسع، يقومون بإعادة تحجيم أوزانه الأولية ومعدلات التعلم لكل طبقة (muP، Yang et al. 2022) بحيث يظل أفضل معدل تعلم وجد في نموذج صغير يعمل على النموذج الكبير: المشكلة التي قيستها درس "النماذج الأوسع تريد خطوات أصغر" في Module 13.
الكلمات والرموز في هذا الدرس
- exponent (alpha, beta)
- سرعة انخفاض loss مع زيادة الأوزان (alpha) أو زيادة البيانات (beta)
- token
- هنا، تنبؤ واحد: حرف واحد
- FLOPs (6 N D)
- تكلفة التدريب: حوالي 6 عمليات لكل وزن لكل رمز
- compute-optimal
- تقسيم ميزانية ثابتة بين حجم النموذج والبيانات الذي يعطي أقل خسارة
طابِق الشبكة في f. اكتب plan(f, budget) التي تُرجع العرض (قوة للعدد 2 من 2 إلى 4096) ذا أدنى خسارة متوقعة. املأ choice لميزانيات 1e9 و1e10 و1e11 من FLOPs.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.