العيادة: حجم الخطوة والأوزان الابتدائية
لماذا هذا مهم تعود أخطاء معدل التعلم والمقياس في Module 8، مع وجود بصمات Adam عليها.
مع Adam، يتحرك كل وزن بمقدار معدل التعلم تقريبًا في الخطوة الأولى، مهما كانت قيمة gradient الخاصة به. لذا فإن نسبة التحديث هي قراءة مباشرة لحجم الخطوة: حوالي 0.5 في التشغيل السليم (0.01 مقابل الأوزان القريبة من 0.02)، وحوالي 15 عندما يكون المعدل مرتفعًا جدًا (حيث يتذبذب loss حينها)، وحوالي 0.0005 عندما يكون منخفضًا جدًا (حيث يكاد loss يبقى عند 4.55). الأوزان البدائية الكبيرة جدًا تجعل التوقعات الأولى واثقة جدًا وخاطئة: يكون loss البدائي أعلى بكثير من 4.55.
كل حالة أدناه هي عملية تدريب تحتوي على خطأ واحد مزروع فيها. لكل حالة: استهلك المجسات للعثور على الخطأ، ثم اكتب إصلاحا ك تغييرات في config تعيد العملية إلى الحالة السليمة. الأخطاء في هذا الدرس: lr_too_high, lr_too_low, init_too_big. المحلل الجيد نادرا ما يحتاج لأكثر من مجسين لكل حالة.
| Probe | ما يخبرك به | تشغيل سليم |
|---|---|---|
loss_curve(c) | خسارة التدريب كل 25 خطوة، والخسارة على النص غير المرئي في النهاية. انظر دائما أولا. | 4.55 نزولا إلى حوالي 2.9؛ غير مرئي حوالي 3.0 |
loss_at_init(c) | Loss قبل التدريب. نموذج جديد يخمن بالتساوي عبر 95 حرفا يعطي ln(95). | 4.55 |
leak_check(c) | هل يمكن لشخصية لاحقة تغيير تنبؤ سابق؟ | False |
show_batch(c) | مدخل تدريب واحد وهدفه، كنص. | target = تم نقل input بمقدار حرف واحد لليسار |
update_ratio(c) | بعد خطوة Adam الأولى، ما هو مقدار تحرك الأوزان بالنسبة لحجمها. ليست قاعدة Module 8: ذلك النطاق من 0.001 إلى 0.1 هو لخطوات SGD العادية. خطوة Adam الأولى تحرك كل وزن بمقدار معدل التعلم تقريبًا مهما كانت قيمة gradient الخاصة به، وتبدأ هذه الأوزان بالقرب من 0.02، لذا فإن 0.01 / 0.02 تعطي حوالي 0.5. قارن حالة مع هذه التشغيلة السليمة، وليس مع نطاق Module 8. | حوالي 0.5 |
block_change(c) | كم يغير الكتلة الأولى كل متجه في البداية. | حوالي 0.3 |
الكلمات والرموز في هذا الدرس
- ln(V)
- الخسارة الابتدائية لنموذج يخمن بالتساوي عبر V رموز: 4.55 لـ 95 حرفاً
- تغيير الكتلة
- كم يغير الكتلة الواحدة المتجه في البداية؛ القيمة القريبة من 1 تعني أنها استبدلته
املأ diagnosis (من الحالة إلى اسم الخطأ) و fixes (من الحالة إلى قاموس تغييرات الإعدادات) للحالات A و B و C. بعد إصلاحك، يجب أن يتطابق كل إعداد مع التشغيل السليم.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.