قفزات حقيقية، أم خدعة في المقياس؟
لماذا هذا مهم تقول العناوين أن النماذج الكبيرة تكتسب قدرات فجأة عند حجم معين: "الظهور". أحيانا يكون القفزة حقيقية. غالباً ما تتحسن القدرة بسلاسة طوال الوقت وقياس metric جعل الأمر يبدو مفاجئاً (Schaeffer, Miranda and Koyejo, 2023). معرفة أيهما هو أيهما يحدد ما إذا كان بإمكانك التنبؤ به.
سجلت الشبكة درجتين على نفس النص المستبعد:
- دقة كل حرف p: هي نسبة المواضع التي تكون فيها أفضل تخمين للنموذج للحرف التالي صحيحا. وهي ترتفع بسلاسة مع الحجم، من 0.27 إلى 0.53 عند 1.5 مليون token.
- كل 5 أحرف صحيحة: حصة المواضع التي يكتب فيها الأحرف الخمسة التالية بدون خطأ. الكل أو لا شيء.
إذا كان كل حرف صحيحا باحتمال p بشكل مستقل، فإن خمسة أحرف متتالية ستكون صحيحة بنسبة p^5. تحقق من ذلك مقابل الشبكة أولا. ثم انظر ماذا يفعل الأس بمهارة تتحسن بشكل متساو. هذه النماذج الصغيرة لا تصل أبدا لمسافة كافية لإظهار التأثير الكامل، لذا فإن الجزء الثاني هو توضيح مصنف بوضوح، وليس قياسا: دقة لكل حرف ترتفع في عشر خطوات متساوية من 0.5 إلى 0.95.
الكلمات والرموز في هذا الدرس
- exponent (alpha, beta)
- سرعة انخفاض loss مع زيادة الأوزان (alpha) أو زيادة البيانات (beta)
- token
- هنا، تنبؤ واحد: حرف واحد
- emergence
- قدرة تبدو وكأنها تظهر فجأة عند حجم معين؛ أحيانا يتم إنشاؤها بواسطة مقياس الكل أو لا شيء
املأ pairs: لكل عرض عند 1.5 مليون token، (p, p^5، قياس جميع الـ 5 على اليمين). ثم لغرض التوضيح، اضبط all10 إلى p^10 لـ p_even، و late_share إلى حصة إجمالي ارتفاع all10 الذي يحدث في آخر 3 من خطوات الـ 10. أخيراً اضبط case.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.