ستستخدم أداة فحص التدرج في جميع أجزاء الدورة.
لماذا هذا مهم التدرج الخاطئ لا يسبب انهيار البرنامج. التدريب يستمر بشكل سيء وهادئ فقط. أداة فحص التدرج تكتشف الخطأ في ثوانٍ، وستستخدم هذه الأداة في كل وحدة.
الفكرة هي دفعة الوحدة 2، التي يتم تنفيذها لكل وزن: دفع الوزن i للأعلى وللأسفل بمقدار h، وقياس الخسارة في كل مرة، وقسمة الفرق على 2h. قارن ذلك مع التدرج في صيغتك.
ما مدى قرب close؟
استخدم الخطأ النسبي: |a - b| مقسوما على القيمة الأكبر بين |a| و |b| (أو 1e-8 إذا كان كلاهما صغيرا جدا). القيمة أقل من 1e-6 تعني نجاحا؛ القيمة فوق 1e-3 تعني وجود خطأ برمجيا في الغالب.
التحقق من التدرج: مقارنة التدرج التحليلي (من صيغتك) مع التدرج العددي (من nudging).
ملخص حكم بطيء لكنه موثوق. استخدمه قبل الوثوق بأي gradient جديد.
الكلمات والرموز في هذا الدرس
- معدل التعلم (lr)
- ما هو حجم كل خطوة تدريب
- تحقق من التدرج
- مقارنة صيغة gradient الخاصة بك مع تقدير nudge-and-measure
اكتب numeric_grad(f, w, h=1e-5) (w هي NumPy array بأي شكل؛ أعد array بنفس الشكل) و grad_check(f, grad, w) التي تعيد أكبر خطأ نسبي. هنا f(w) تأخذ مصفوفة الأوزان وتعيد الخسارة كرقم واحد، و grad هي array (تدرج صيغتك عند w، محسوبة مسبقاً)، وليست دالة. لا تغير w بشكل دائم. لزيارة كل موضع في array بأي شكل، for idx in np.ndindex(w.shape): تعطي كل tuple للفهرس بالترتيب. الاختبار المخفي يغذي أداة التحقق الخاصة بك بثلاثة تدرجات خاطئة بشكل طفيف؛ يجب أن يحصل كل منها على درجة أعلى من 1e-3.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.