المنهج الدراسي الدرس 153 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

تدريب نموذج GPT صغير، مباشرة

لماذا هذا مهم كل شيء يجتمع معا: embeddings، وpositions، وmasked multi-head attention، وresiduals، وlayer norms، يتم تدريبها باستخدام Adam على next-character prediction. على وحدة المعالجة المركزية CPU الخاصة بك، في ثوان معدودة.

العرض 32، بلوكان 2، رؤوس 4، 32 حرفا من السياق: حوالي 29,000 بارامتر. 150 خطوة كل منها 16 مقطع، بضع ثواني على كمبيوتر محمول. توقّع المنحنى: الخسارة في البداية وبعد 150 خطوة. (تخمين موحد عبر 95 حرفا هو ln 95 = 4.55.)

ثم خذ عينة منها. بعد 150 خطوة، ينتج حساء حروف مع مسافات في الأماكن الصحيحة تقريبًا؛ النموذج المسجل بعرض-64، والمدرب لمدة 2,000 خطوة، يكتب نصًا على شكل كلمات. نفس الكود، حوسبة أكثر.

الكلمات والرموز في هذا الدرس
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
head
واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
طبقة التعيين
قم بتطبيع كل متجه على حدة: المتوسط 0، والانتشار 1، ثم اضرب في g زائد b
دورك

املأ

، ثم قم بالتدريب باستخدام my_guess مع model.train (150 خطوة، معدل تعلم 0.003، دفعة 16) على corpus.TEXT واحتفظ بالسجل في hist. الاستدعاء هو hist = model.train(text, steps=..., lr=..., batch=...)؛ وهو يعيد قاموسا يكون hist['loss'] فيه هو خسارة التدريب المسجلة كل 20 خطوة (وعند الخطوة الأخيرة)، وmodel.generate(prompt, n, temperature) يكتب النص بعد ذلك. (help(model.train) يطبع هذا أيضا.) يجب أن يكون متوسط آخر 5 خسائر مسجلة أقل من 2.85.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.