المنهج الدراسي الدرس 28 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

لماذا يعدت التدرج العكسي رخيصا (reverse mode)

لماذا هذا مهم تحتوي الشبكة على ملايين الأوزان. إذا احتاج كل تدرج إلى تمريرة خاصة به، سيكون التدريب مستحيلاً. التوجه للخلف يحصل على جميعها بتكلفة تمريرة إضافية واحدة تقريباً.

أرقام صغيرة

خذ L = f3(f2(f1(x))) حيث x يحتوي على 3 أرقام و L هو رقم واحد. بالتحرك forward بالدفعات، تقوم بدفع مدخل واحد، وتمريره عبر جميع الخطوات الثلاث، وتتعلم تدرجاً واحداً. ثلاثة مدخلات تعني ثلاث رحلات كاملة.

بالعودة للخلف، تبدأ من L، وهي رقم واحد، وتدفع "كم يهتم L بهذا؟" للوراء عبر f3، ثم f2، ثم f1. رحلة واحدة تعطي التدرج لكل مدخل دفعة واحدة.

بوجود 3 مدخلات، تقوم برحلة واحدة بدلا من 3. مع مليون وزن، رحلة واحدة بدلا من مليون. الرحلة العكسية ليست مجانية، فهي تكلف حوالي 2 إلى 3 تمريرات أمامية، لأن كل خطوة يجب أن تضرب في منحدراتها المحلية. لذا في العمل الحقيقي، يكون التوفير حوالي n / 3، وهو ما يعادل حوالي 300,000 مرة لمليون وزن. لهذا السبب تعمل كل مكتبة تعلم عميق بشكل عكسي.

وضع Reverse: حساب التدرجات عن طريق المسح من المخرجات إلى المدخلات. وحدة البناء الخاصة به تسمى vector-Jacobian product؛ الدرس التالي يحللها.

خلاصة مخرج واحد، مدخلات عديدة: عد إلى الوراء.

الكلمات والرموز في هذا الدرس
vector
قائمة بالأرقام، رقم واحد لكل ميزة
دورك

املأ أعداد العمليات لشبكة بأوزان n وخسارة واحدة. forward_trips(n): كم عدد المرات الكاملة التي تحتاجها طريقة nudge-each-input (مرة واحدة لكل وزن؛ استبعد المرة الواحدة غير المعدلة التي ستجريها أيضاً). backward_trips(n): كم عدد المسوح الخلفية التي يحتاجها reverse mode. ثم اضبط saving_for_a_million على نسبة الرحلات (وليس العمل) لـ n = 1,000,000.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.