تدريب نموذج GPT صغير، مباشرة
لماذا هذا مهم كل شيء يجتمع معا: embeddings، وpositions، وmasked multi-head attention، وresiduals، وlayer norms، يتم تدريبها باستخدام Adam على next-character prediction. على وحدة المعالجة المركزية CPU الخاصة بك، في ثوان معدودة.
العرض 32، بلوكان 2، رؤوس 4، 32 حرفا من السياق: حوالي 29,000 بارامتر. 150 خطوة كل منها 16 مقطع، بضع ثواني على كمبيوتر محمول. توقّع المنحنى: الخسارة في البداية وبعد 150 خطوة. (تخمين موحد عبر 95 حرفا هو ln 95 = 4.55.)
ثم خذ عينة منها. بعد 150 خطوة، ينتج حساء حروف مع مسافات في الأماكن الصحيحة تقريبًا؛ النموذج المسجل بعرض-64، والمدرب لمدة 2,000 خطوة، يكتب نصًا على شكل كلمات. نفس الكود، حوسبة أكثر.
الكلمات والرموز في هذا الدرس
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
- طبقة التعيين
- قم بتطبيع كل متجه على حدة: المتوسط 0، والانتشار 1، ثم اضرب في g زائد b
املأ
، ثم قم بالتدريب باستخدام my_guess مع model.train (150 خطوة، معدل تعلم 0.003، دفعة 16) على corpus.TEXT واحتفظ بالسجل في hist. الاستدعاء هو hist = model.train(text, steps=..., lr=..., batch=...)؛ وهو يعيد قاموسا يكون hist['loss'] فيه هو خسارة التدريب المسجلة كل 20 خطوة (وعند الخطوة الأخيرة)، وmodel.generate(prompt, n, temperature) يكتب النص بعد ذلك. (help(model.train) يطبع هذا أيضا.) يجب أن يكون متوسط آخر 5 خسائر مسجلة أقل من 2.85.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.