توقع تشغيل أكبر، ثم شاهد ذلك
لماذا هذا مهم إن النموذج الذي يصف فقط التجارب التي أجريتها هو ملخص. أما النموذج الذي يتنبأ بتجربة لم تجرها فهو قانون، على الأقل في الوقت الحالي. إليك الاختبار.
دربت الدورة حجما إضافيا بعد الانتهاء من الشبكة: عرض 2048، حوالي 375,000 أوزان، ضعف أكبر حجم في الشبكة، على كامل 1.5 مليون token، و3 seeds. لم ترَ قيم loss الخاصة بها بعد.
استخدم قانون القوة من الدرس 3 (عرض واحد في كل مرة، 1.5 مليون token) للتنبؤ به. قم بتثبيت الرقم في code، ثم افتح النتيجة المسجلة.
الكلمات والرموز في هذا الدرس
- قانون القوة
- y = A x^-alpha: خط مستقيم على محاور log-log
- token
- هنا، تنبؤ واحد: شخصية واحدة
قم بملاءمة شبكة الـ 1.5-million-token باستخدام scaling.fit_power_law، واضبط prediction للعرض 2048 (أوزان scaling.params_of(2048))، ثم اضبط actual (متوسط scaling.recorded_bigger()) و error. قارنها مع خطأ حدسك في الدرس 1 عن طريق ضبط better_than_my_gut.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.