النماذج الأوسع تريد خطوات أصغر
لماذا هذا مهم معدل التعلم الذي يعمل مع نموذج صغير يمكن أن يدمر نموذجاً أكبر. تنفق الفرق التي تدرب نماذج كبيرة أموالاً حقيقية لمعرفة ذلك؛ يمكنك قراءته من التشغيلات المسجلة.
دربت تجربة gpt-width-lr المسجلة نموذج GPT الصغير عند أبعاد 32 و64 و128، كل منها بمعدلات تعلم 0.001 و0.003 و0.01، لمدة 2,000 خطوة، مع ثلاث بذور لكل منها، وقاست الخسارة على النص المستبعد في النهاية.
توقع قبل أن تنظر: أي معدل تعلم هو الأفضل لأوسع نموذج، 128؟
الكلمات والرموز في هذا الدرس
- query, key, value
- ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
اضبط my_guess على إحدى القيم 0.001 أو 0.003 أو 0.01، ثم املأ mean_loss: (width, lr) إلى متوسط الخسارة المحجوزة النهائية على البذور الثلاث (يعطي exp.seeds(d=..., lr=...) التشغيلات الثلاثة؛ والخسارة المحجوزة النهائية لكل تشغيل هي run.val_loss[-1][1]). ثم املأ best_lr: العرض إلى معدل التعلّم ذي أدنى متوسط.
ثم استخدم قاعدة الضوضاء في Module 9 لتحديد الإعدادات التي تختلف حقا. مع وجود ثلاث بذور لكل منهما، يختلف متوسطان حقا فقط إذا كانت الفجوة أكبر من حوالي 2 × s × sqrt(2/3)، حيث s هي القيمة الأكبر من تشتت بذور الإعدادين (np.std من القيم الثلاث). أي شيء أقرب من ذلك يعتبر تعادلا.
Set ties: width إلى قائمة معدلات التعلم التي تتساوى مع أفضل معدل لتلك العرض (الأفضل مشمول).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.