ما الذي تنظر إليه الرؤوس
لماذا هذا مهم يمكن قراءة أوزان الانتباه. إن النظر إلى ما تفعله الرؤوس المدربة هو بداية القابلية للتفسير: فهم النموذج من داخله، وليس فقط من مخرجاته.
يحتوي نموذج width-64 المسجل على طبقتين من 4 heads. لكل head، قم بقياس مقدار الانتباه الذي يعطيه الموقع في المتوسط للحرف الذي يسبقه مباشرة. إذا قام head بتوزيع انتباهه بالتساوي على كل شيء يمكنه رؤيته، فسيكون ذلك الرقم حوالي 0.10 عبر snippet مكون من 32 حرفا.
توقّع: أي طبقة تتخصص رؤوسها في "النظر إلى الحرف السابق"؟
الكلمات والرموز في هذا الدرس
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
اضبط my_guess على 0 أو 1. اكتب prev_share(A) لمصفوفة انتباه واحدة بحجم t في t: متوسط A[i, i - 1] لـ i من 1 إلى t - 1. املأ share: (layer, head) إلى متوسط prev_share على المقتطفات المحجوزة الأربعين، باستخدام attention_maps.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.