المنهج الدراسي الدرس 205 من 246 · الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

توقع تشغيل أكبر، ثم شاهد ذلك

لماذا هذا مهم إن النموذج الذي يصف فقط التجارب التي أجريتها هو ملخص. أما النموذج الذي يتنبأ بتجربة لم تجرها فهو قانون، على الأقل في الوقت الحالي. إليك الاختبار.

دربت الدورة حجما إضافيا بعد الانتهاء من الشبكة: عرض 2048، حوالي 375,000 أوزان، ضعف أكبر حجم في الشبكة، على كامل 1.5 مليون token، و3 seeds. لم ترَ قيم loss الخاصة بها بعد.

استخدم قانون القوة من الدرس 3 (عرض واحد في كل مرة، 1.5 مليون token) للتنبؤ به. قم بتثبيت الرقم في code، ثم افتح النتيجة المسجلة.

الكلمات والرموز في هذا الدرس
قانون القوة
y = A x^-alpha: خط مستقيم على محاور log-log
token
هنا، تنبؤ واحد: شخصية واحدة
دورك

قم بملاءمة شبكة الـ 1.5-million-token باستخدام scaling.fit_power_law، واضبط prediction للعرض 2048 (أوزان scaling.params_of(2048))، ثم اضبط actual (متوسط scaling.recorded_bigger()) و error. قارنها مع خطأ حدسك في الدرس 1 عن طريق ضبط better_than_my_gut.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.