المنهج الدراسي الدرس 151 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

كتلة transformer واحدة، يدويا

لماذا هذا مهم نموذج GPT هو مجرد كتل متراكمة. اكتب واحدا باستخدام NumPy بسيط، وشغله بالأوزان الحقيقية للنموذج المسجل، وإذا تطابقت أرقامك مع أرقام النموذج نفسه، فأنت تفهم كل سطر في transformer.

شاهده

شغّل الرسم المتحرك. تأخذ الكتلة h (t موضعاً في d) وتقوم بأمرين، يُضاف كل منهما مجدداً إلى h (مسار البواقي (residual) من الوحدة 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

أسماء النموذج المسجل: qkv{l} يحتوي على Wq و Wk و Wv جنبا إلى جنب (d في 3d)، o{l} هو Wo، g1{l}, b1{l} و g2{l}, b2{l} هما طبقتا layer norms، w1{l}, w2{l} هو feed-forward. يستخدم الرأس h الأعمدة من h ضرب 16 إلى (h + 1) ضرب 16 لكل من Q و K و V.

الكلمات والرموز في هذا الدرس
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
head
واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
طبقة التعيين
قم بتطبيع كل متجه على حدة: المتوسط 0، والانتشار 1، ثم اضرب في g زائد b
كتلة transformer
h + attention(norm(h))، ثم h + feed-forward(norm(h))
دورك

اكتب block(h, l) لتسلسل واحد (h هي t في d). النموذج الكامل مجمع لك؛ يجب أن تتطابق logits الخاصة به مع model.logits.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.