القناع السببي: لا تطلع على ما بعده
لماذا هذا مهم يجب ألا يرى النموذج المدرب على التنبؤ بالحرف التالي الحرف التالي. بدون mask يمكنه ببساطة نسخ الإجابة، ويبدو رائعا في التدريب، ثم يفشل عند التوليد، لأن المستقبل لا يوجد بعد في وقت التوليد.
شاهده
شغّل الرسم المتحرك. لا يجوز للموضع i أن ينتبه إلا إلى المواضع من 0 إلى i. قبل الـ softmax، تُضبط كل درجة فوق القطر على سالب ما لا نهاية، فيصبح وزنها 0 تماماً. وعندها تشكّل الأوزان مثلثاً سفلياً.
اختبار التسريب مباشر: قم بتغيير حرف في الموقع j، ولا يمكن لأي شيء يحسبه النموذج للمواقع قبل j أن يتغير.
عندما قام المساق بتدريب GPT بعرض 32 لمدة 1,200 خطوة بدون القناع، انخفضت خسارة التدريب إلى 0.10، مقابل 1.51 مع القناع: لقد تعلم نسخ الإجابة من الموقع التالي، بشكل مثالي تقريبًا. عند القياس بصدق، على نص غير مرئي وبدون السماح له بالنظر للأمام، كانت خسارته 8.6 مقابل 2.3. الرقم الأقل كان كذبًا: كان النموذج أسوأ بكثير. (في البداية، عند 400 خطوة، بدت التشغيلات الاثنان متشابهتين، 2.28 مقابل 2.24. يستغرق اكتشاف النسخ بعض الوقت، ثم يسيطر على العملية.)
الكلمات والرموز في هذا الدرس
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- causal mask
- الدرجات فوق القطر تم تعيينها إلى سالب مالانهاية: لا يوجد موقع يرى المستقبل
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
اكتب causal_attention(X, Wq, Wk, Wv) مثل الدرس 4 ولكن بشكل مخفي. ثم leaks(f): أرجع True إذا كان تغيير الصف الأخير من X عشوائي يغير أي صف سابق من مخرجات f. هنا f هي أي دالة attention يتم استدعاؤها مثل دالتك، f(X, Wq, Wk, Wv)، وتُرجع (output, weights)؛ قم بإنشاء X وأوزان عشوائية داخل leaks.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.