بوابة: محول تالف (إيقاف الذكاء الاصطناعي)
لماذا هذا مهم هذه عملية GPT forward pass كاملة مكتوبة بمحرك house engine، ولها عيبان. كلاهما كلاسيكي، وكل واحد منهما بمفرده خدع فرقا حقيقية.
AI tutor off. خطأ واحد يسمح للنموذج برؤية أحرف من المفترض أن يتنبأ بها. الخطأ الآخر يجعل الـ stack أصعب بكثير في التدريب. ابحث عن كليهما وأصلحهما.
الكلمات والرموز في هذا الدرس
- query, key, value
- ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
أصلح logits. يجب ألا يؤدي تغيير حرف إلى تغيير أي تنبؤ للمواقع السابقة، وبعد 200 خطوة يجب أن يكون متوسط loss على آخر 20 خطوة أقل من 2.65.
إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.