المنهج الدراسي الدرس 206 من 246 · الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

قفزات حقيقية، أم خدعة في المقياس؟

لماذا هذا مهم تقول العناوين أن النماذج الكبيرة تكتسب قدرات فجأة عند حجم معين: "الظهور". أحيانا يكون القفزة حقيقية. غالباً ما تتحسن القدرة بسلاسة طوال الوقت وقياس metric جعل الأمر يبدو مفاجئاً (Schaeffer, Miranda and Koyejo, 2023). معرفة أيهما هو أيهما يحدد ما إذا كان بإمكانك التنبؤ به.

سجلت الشبكة درجتين على نفس النص المستبعد:

  • دقة كل حرف p: هي نسبة المواضع التي تكون فيها أفضل تخمين للنموذج للحرف التالي صحيحا. وهي ترتفع بسلاسة مع الحجم، من 0.27 إلى 0.53 عند 1.5 مليون token.
  • كل 5 أحرف صحيحة: حصة المواضع التي يكتب فيها الأحرف الخمسة التالية بدون خطأ. الكل أو لا شيء.

إذا كان كل حرف صحيحا باحتمال p بشكل مستقل، فإن خمسة أحرف متتالية ستكون صحيحة بنسبة p^5. تحقق من ذلك مقابل الشبكة أولا. ثم انظر ماذا يفعل الأس بمهارة تتحسن بشكل متساو. هذه النماذج الصغيرة لا تصل أبدا لمسافة كافية لإظهار التأثير الكامل، لذا فإن الجزء الثاني هو توضيح مصنف بوضوح، وليس قياسا: دقة لكل حرف ترتفع في عشر خطوات متساوية من 0.5 إلى 0.95.

الكلمات والرموز في هذا الدرس
exponent (alpha, beta)
سرعة انخفاض loss مع زيادة الأوزان (alpha) أو زيادة البيانات (beta)
token
هنا، تنبؤ واحد: حرف واحد
emergence
قدرة تبدو وكأنها تظهر فجأة عند حجم معين؛ أحيانا يتم إنشاؤها بواسطة مقياس الكل أو لا شيء
دورك

املأ pairs: لكل عرض عند 1.5 مليون token، (p, p^5، قياس جميع الـ 5 على اليمين). ثم لغرض التوضيح، اضبط all10 إلى p^10 لـ p_even، و late_share إلى حصة إجمالي ارتفاع all10 الذي يحدث في آخر 3 من خطوات الـ 10. أخيراً اضبط case.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.