أين توجد المعاملات
لماذا هذا مهم "نموذج بـ 7 مليارات معلمة" هو مجرد هذه العملية الحسابية بمقياس أكبر. القدرة على العد تخبرك أين تذهب الذاكرة ولماذا يعتبر العرض مكلفا.
لكل كتلة، المصفوفات الكبيرة هي Wq و Wk و Wv و Wo (أربعة من d بـ d: 4d تربيع) والشبكة الأمامية (d بـ 4d و 4d بـ d: 8d تربيع). هذا يعني 12 d تربيع، بالإضافة إلى بضعة ناقلات بطول d لعمليات layer norms.
خارج الكتل: تضمينات الرموز (V بـ d، وتُستخدم أيضاً كطبقة إخراج في هذا النموذج)، ومتجهات الموقع (ctx بـ d) وطبقة norm النهائية.
تضاعف d يضرب معاملات الكتلة في 4، ولكن لا يضرب الوقت في 4. استغرقت عمليات width-128 المسجلة حوالي 2.3 مرة من الوقت مقارنة بـ width 64 في المتوسط (من 1.1 إلى 4 مرات بين عملية وأخرى: وقت wall-clock على جهاز مشترك غير مستقر)، ولم تكن width 32 أسرع من width 64. في النماذج بهذا الصغر، تشكل التكاليف الثابتة لكل خطوة (Python، المصفوفات الصغيرة) جزءا كبيرا من الوقت؛ وتظهر زيادة 4x فقط بمجرد أن تهيمن عمليات matrix multiplies.
الكلمات والرموز في هذا الدرس
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
- متجه الموقع تمت إضافة
- إلى كل token حتى يتمكن attention من معرفة الترتيب
- طبقة التقييس
- قم بتطبيع كل متجه على حدة: المتوسط 0، والانتشار 1، ثم اضرب في g زائد b
- 12 d squared
- المعلمات في مصفوفات كتلة واحدة
اكتب count(V, d, layers, ctx) يعيد عدد المعاملات الدقيق لهذا الـ GPT (كل كتلة تحتوي على 12 d squared + 4d: طبقتين من layer norms مع g و b). يجب أن يطابق النماذج الحقيقية.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.