المنهج الدراسي الدرس 207 من 246 · الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

بوابة: خطط لجولة تدريب (إيقاف الذكاء الاصطناعي)

لماذا هذا مهم هذه هي القوانين التي توجد لأجلها عملية اتخاذ القرار: لديك ميزانية وفرصة واحدة. خطط لها بناء على الأدلة.

قواعد

Gate: المعلم الآلي متوقف. لديك 3 x 10^10 FLOPs لتشغيل واحد لنموذج الشخصية الخاص بالدورة، على نفس النص الموجود في الشبكة. اختر عرضا (قوة للعدد 2) وعدد الرموز التي يسمح بها الميزانية حينها. استخدم الشبكة المسجلة بأي طريقة تفضلها: ملاءمة، جداول، أو كلاهما.

يتنبأ الفحص بخسارة اختيارك وخسارة أفضل اختيار ممكن باستخدام ملاءمة المتغيرين في الدورة، ويجتاز الاختبار عندما يكون اختيارك ضمن 0.02 من الأفضل واستخدمت الميزانية (ضمن 1%).

الكلمات والرموز في هذا الدرس
قانون القياس
كيف ينخفض الفقد مع زيادة الأوزان أو البيانات أو الحوسبة، عادة ما يكون قانون قوة نحو حد أدنى
token
هنا، تنبؤ واحد: حرف واحد
FLOPs (6 N D)
تكلفة التدريب: حوالي 6 عمليات لكل وزن لكل رمز
دورك

قم بتعيين width و tokens.

إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.