ملاءمة قانون القوة مع حد أدنى
لماذا هذا مهم "الأكبر هو الأفضل" غير مفيد للتخطيط. "يقل الفقد مع رفع الأوزان إلى القوة -0.5، نحو حد أدنى قدره 1.6" يتيح لك وضع رقم على عملية لم تدفع ثمنها. الحصول على ذلك الرقم، ومدى تأكدك منه، هو المهارة.
الشكل الذي يناسب معظم بيانات القياس:
loss = E + A N^(-alpha)
N هو عدد الأوزان، وalpha هو exponent (سرعة التحسن)، وE هو floor: الخسارة التي لا يمكن لأي نموذج من هذه العائلة تجاوزها على هذه البيانات. جزء من ذلك يعود إلى أن النص غير متوقع؛ وجزء يعود إلى حد العائلة نفسه (هذا النموذج يرى فقط 8 أحرف سابقة). عائلة مختلفة، مثل تلك التي تقرأ أبعد إلى الوراء، لديها floor أقل. بدون floor، فإن الملاءمة على النماذج الصغيرة تبالغ في تقدير مقدار ما تكتسبه النماذج الكبيرة.
كيفية ملاءمتها: لكل أرضية مرشحة E بين 0 وأقل قليلا من أصغر خسارة، خذ اللوغاريتمات، log(loss - E) = log A - alpha log N، وهي خط مستقيم، وقم بملاءمتها باستخدام المربعات الصغرى. احتفظ بـ E التي يكون منحناها صاحب أصغر خطأ تربيعي على الخسائر نفسها.
أشرطة الخطأ: هناك 3 بذور لكل حجم. أعد الملاءمة عدة مرات، وفي كل مرة اختر بذرة واحدة عشوائيا لكل حجم (بوتستراب)، وانظر إلى انتشار alpha. شاهد المشهد: النقاط نفسها، والمنحنى الملاءم مع وبدون أرضية، ونطاق ملاءمات البوتستراب.
الكلمات والرموز في هذا الدرس
- قانون القوة
- y = A x^-alpha: خط مستقيم على محاور log-log
- exponent (alpha, beta)
- سرعة انخفاض loss مع زيادة الأوزان (alpha) أو زيادة البيانات (beta)
- floor (E)
- لا يمكن لأي نموذج هزيمة الخسارة في هذه البيانات
- token
- هنا، تنبؤ واحد: حرف واحد
- bootstrap
- إعادة ملاءمة البيانات المعاد أخذ عينات منها لمعرفة مقدار التغير في الرقم الملاءم
اكتب fit(N, loss) التي تعيد (E, A, alpha) كما هو موضح (400 مرشح للأرضيات من 0 إلى 0.999 x أصغر خسارة). ضع تشغيل الـ 1.5-million-token (متوسط واحد لكل عرض) في main، ثم قم بتشغيل 100 bootstrap refit واضبط interval على المئين الخامس والتاسع والتسعين لـ alpha.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.