كيف يجمع spread، وما الذي يمدده matrix
لماذا هذا مهم حقيقتان تقرران ما إذا كانت الشبكة العميقة تتدرب أم لا: كيف ينمو انتشار المجموع مع عدد الحدود (Module 6 يحدد الأوزان الأولية بها)، وكم تمدد المصفوفة المتجه في كل مرة يتم تطبيقها (Module 11's RNNs تطبق واحدة مرة بعد أخرى).
توزيع مجموع
أضف n أرقاماً مستقلة، كل منها له تباين v. تُجمع التباينات: المجموع له تباين n v، لذا فإن تشتته (الانحراف المعياري) هو sqrt(n v). الأرقام الصغيرة: 100 مدخلات كل منها له تشتت 1 تعطي مجموعاً بتشتت 10، وليس 100 وليس 1. العصبون يجمع n مدخلات مضروبة في الأوزان، لذا للحفاظ على تشتت مخرجاته قريباً من 1، يحتاج كل وزن إلى تشتت يقارب 1 / sqrt(n). هذه هي الفكرة وراء الأوزان الابتدائية في Module 6.
ما مدى تمدد المصفوفة
تصبح بعض المتجهات أطول أو أقصر فقط عندما تضربها المصفوفة A؛ ويبقى اتجاهها كما هو. هذا المتجه هو eigenvector وعامل التمدد هو eigenvalue. اضرب المتجه بـ A مراراً وتكراراً والاتجاه ذو القيمة الذاتية الأكبر (من حيث الحجم) هو الذي يفوز: بعد t من الخطوات ينمو الطول أو ينكمش مثل تلك القيمة الذاتية مرفوعة للقوة t. لذا فإن الحجم الأكبر فوق 1 يتضخم، وتحت 1 يتلاشى.
أرقام صغيرة: A = [[0.5, 0], [0, 1.2]]. قيمها الذاتية هي 0.5 و 1.2. بعد 10 خطوات انكمش الاتجاه الأول إلى 0.510، حوالي 0.001، وتضخم الاتجاه الثاني إلى 1.210، حوالي 6.2.
Eigenvalue: مقدار تمدد المصفوفة في اتجاه خاص واحد. Spectral radius: أكبر eigenvalue من حيث الحجم، والذي يحدد ما إذا كانت الضرب المتكرر ينمو أو يتلاشى.
خلاصة تضاف التباينات، لذا تنمو الفوارق مثل sqrt(n). الضرب المتكرر ينمو مثل أكبر eigenvalue مرفوعة للقوة t.
الكلمات والرموز في هذا الدرس
- vector
- قائمة بالأرقام، رقم واحد لكل ميزة
ثلاث خطوات:
- اكتب
sum_spread(n, sd, trials, seed): باستخدامrng = np.random.default_rng(seed)، ارسمtrialsمجموعات n من الأرقام العادية بانتشار sd، وأعد الانتشار (np.std) لتلك المجموعات. - قم بتعيين
predictedإلى النطاق الذي تعطيه القاعدة لـ n = 100 و sd = 0.5 (sqrt(n) x sd). - اكتب
growth_rate(A, steps=200): ابدأ من متجه من الآحاد؛stepsمرات، اضرب في A وأعد تحجيم النتيجة إلى طول 1؛ أعد طول المتجه الذي كان عليه قبل عملية إعادة التحجيم الأخيرة مباشرة. مثال عملي: لـ A = [[0.5, 0], [0, 1.2]] تكون الإجابة 1.2.
لماذا تعمل الخطوة 3: الضرب المتكرر يجعل أكبر تمدد يفوز، لذا فإن طول الخطوة الأخيرة هو أكبر eigenvalue في الحجم، ويتم إيجاده بدون أي eigenvalue function. (يستخدمت عملية التحقق matrices متماثلة، حيث يتحقق هذا دائما. بالنسبة لبعض matrices الأخرى، يكون أكبر اثنين زوجا معقدا ويترنح الطول من خطوة إلى أخرى؛ لن تحتاج إلى تلك الحالة.)
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.