المنهج الدراسي الدرس 160 من 246 · الوحدة 14: تشغيل Clinic II
الوحدة 14: تشغيل Clinic II

العيادة: جيدة جدا، أو عالقة جدا

لماذا هذا مهم أخطر التشغيلات هي تلك التي تبدو رائعة. النموذج الذي يمكنه رؤية إجاباته يسجل training loss رائعا وهو عديم الفائدة.

بدون قناع: يمكن للنموذج إلقاء نظرة على الحرف التالي، لذا ينخفض فقد التدريب لديه أكثر من التشغيل السليم، بينما يكون الفقد على النص غير المرئي (المقاس بصدق، من الأحرف السابقة فقط) أسوأ بكثير. الأهداف غير مزاحة: الهدف هو المدخل نفسه، لذا يتعلم النموذج نسخ الحرف الذي ينظر إليه. يتجه فقد التدريب نحو 0 تقريبًا، وعلى النص غير المرئي يكون سيئًا للغاية. بدون متبقي: كل كتلة تستبدل h بدلاً من الإضافة إليها، لذا يصعب تدريب المكدس ويتوقف الفقد مبكرًا.

كل حالة أدناه هي عملية تدريب تحتوي على عطل واحد مزروع فيها. لكل حالة: استهلك المجسات للعثور على العطل، ثم اكتب إصلاحا ك تغييرات في config تعيد العملية إلى الحالة السليمة. الأعطال في هذا الدرس: no_mask, targets_not_shifted, no_residual. نادرا ما يحتاج المشخص الجيد إلى أكثر من مجسين لكل حالة.

Probeما يخبرك بهتشغيل سليم
loss_curve(c)خسارة التدريب كل 25 خطوة، والخسارة على النص غير المرئي في النهاية. انظر دائما أولا.4.55 نزولا إلى حوالي 2.9؛ غير مرئي حوالي 3.0
loss_at_init(c)Loss قبل التدريب. نموذج جديد يخمن بالتساوي عبر 95 حرفا يعطي ln(95).4.55
leak_check(c)هل يمكن لشخصية لاحقة تغيير تنبؤ سابق؟False
show_batch(c)مدخل تدريب واحد وهدفه، كنص.target = تم نقل input بمقدار حرف واحد لليسار
update_ratio(c)بعد خطوة Adam الأولى، ما هو مقدار تحرك الأوزان بالنسبة لحجمها. ليست قاعدة Module 8: ذلك النطاق من 0.001 إلى 0.1 هو لخطوات SGD العادية. خطوة Adam الأولى تحرك كل وزن بمقدار معدل التعلم تقريبًا مهما كانت قيمة gradient الخاصة به، وهذه الأوزان تبدأ بالقرب من 0.02، لذا فإن 0.01 / 0.02 تعطي حوالي 0.5. قارن حالة مع هذه التشغيلة السليمة، وليس مع نطاق Module 8.حوالي 0.5
block_change(c)كم يغير الكتلة الأولى كل متجه في البداية.حوالي 0.3
الكلمات والرموز في هذا الدرس
ln(V)
الخسارة الابتدائية لنموذج يتوقع بالتساوي عبر V رموز: 4.55 لـ 95 حرفاً
تغيير الكتلة
كم يغير الكتلة الواحدة المتجه في البداية؛ القيمة القريبة من 1 تعني أنها استبدلته
دورك

املأ diagnosis (من حالة إلى اسم الخطأ) و fixes (من حالة إلى قاموس لتغييرات الإعدادات) للحالات A و B و C. بعد إصلاحك، يجب أن يتطابق كل إعداد مع التشغيل السليم.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.