المنهج الدراسي الدرس 158 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

بوابة: محول تالف (إيقاف الذكاء الاصطناعي)

لماذا هذا مهم هذه عملية GPT forward pass كاملة مكتوبة بمحرك house engine، ولها عيبان. كلاهما كلاسيكي، وكل واحد منهما بمفرده خدع فرقا حقيقية.

AI tutor off. خطأ واحد يسمح للنموذج برؤية أحرف من المفترض أن يتنبأ بها. الخطأ الآخر يجعل الـ stack أصعب بكثير في التدريب. ابحث عن كليهما وأصلحهما.

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
head
واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
دورك

أصلح logits. يجب ألا يؤدي تغيير حرف إلى تغيير أي تنبؤ للمواقع السابقة، وبعد 200 خطوة يجب أن يكون متوسط loss على آخر 20 خطوة أقل من 2.65.

إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.