المنهج الدراسي الدرس 32 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

كيف يجمع spread، وما الذي يمدده matrix

لماذا هذا مهم حقيقتان تقرران ما إذا كانت الشبكة العميقة تتدرب أم لا: كيف ينمو انتشار المجموع مع عدد الحدود (Module 6 يحدد الأوزان الأولية بها)، وكم تمدد المصفوفة المتجه في كل مرة يتم تطبيقها (Module 11's RNNs تطبق واحدة مرة بعد أخرى).

توزيع مجموع

أضف n أرقاماً مستقلة، كل منها له تباين v. تُجمع التباينات: المجموع له تباين n v، لذا فإن تشتته (الانحراف المعياري) هو sqrt(n v). الأرقام الصغيرة: 100 مدخلات كل منها له تشتت 1 تعطي مجموعاً بتشتت 10، وليس 100 وليس 1. العصبون يجمع n مدخلات مضروبة في الأوزان، لذا للحفاظ على تشتت مخرجاته قريباً من 1، يحتاج كل وزن إلى تشتت يقارب 1 / sqrt(n). هذه هي الفكرة وراء الأوزان الابتدائية في Module 6.

ما مدى تمدد المصفوفة

تصبح بعض المتجهات أطول أو أقصر فقط عندما تضربها المصفوفة A؛ ويبقى اتجاهها كما هو. هذا المتجه هو eigenvector وعامل التمدد هو eigenvalue. اضرب المتجه بـ A مراراً وتكراراً والاتجاه ذو القيمة الذاتية الأكبر (من حيث الحجم) هو الذي يفوز: بعد t من الخطوات ينمو الطول أو ينكمش مثل تلك القيمة الذاتية مرفوعة للقوة t. لذا فإن الحجم الأكبر فوق 1 يتضخم، وتحت 1 يتلاشى.

أرقام صغيرة: A = [[0.5, 0], [0, 1.2]]. قيمها الذاتية هي 0.5 و 1.2. بعد 10 خطوات انكمش الاتجاه الأول إلى 0.510، حوالي 0.001، وتضخم الاتجاه الثاني إلى 1.210، حوالي 6.2.

Eigenvalue: مقدار تمدد المصفوفة في اتجاه خاص واحد. Spectral radius: أكبر eigenvalue من حيث الحجم، والذي يحدد ما إذا كانت الضرب المتكرر ينمو أو يتلاشى.

خلاصة تضاف التباينات، لذا تنمو الفوارق مثل sqrt(n). الضرب المتكرر ينمو مثل أكبر eigenvalue مرفوعة للقوة t.

الكلمات والرموز في هذا الدرس
vector
قائمة بالأرقام، رقم واحد لكل ميزة
دورك

ثلاث خطوات:

  1. اكتب sum_spread(n, sd, trials, seed): باستخدام rng = np.random.default_rng(seed)، ارسم trials مجموعات n من الأرقام العادية بانتشار sd، وأعد الانتشار (np.std) لتلك المجموعات.
  2. قم بتعيين predicted إلى النطاق الذي تعطيه القاعدة لـ n = 100 و sd = 0.5 (sqrt(n) x sd).
  3. اكتب growth_rate(A, steps=200): ابدأ من متجه من الآحاد؛ steps مرات، اضرب في A وأعد تحجيم النتيجة إلى طول 1؛ أعد طول المتجه الذي كان عليه قبل عملية إعادة التحجيم الأخيرة مباشرة. مثال عملي: لـ A = [[0.5, 0], [0, 1.2]] تكون الإجابة 1.2.

لماذا تعمل الخطوة 3: الضرب المتكرر يجعل أكبر تمدد يفوز، لذا فإن طول الخطوة الأخيرة هو أكبر eigenvalue في الحجم، ويتم إيجاده بدون أي eigenvalue function. (يستخدمت عملية التحقق matrices متماثلة، حيث يتحقق هذا دائما. بالنسبة لبعض matrices الأخرى، يكون أكبر اثنين زوجا معقدا ويترنح الطول من خطوة إلى أخرى؛ لن تحتاج إلى تلك الحالة.)

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.