المنهج الدراسي الدرس 157 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

محركك، بمصطلحات PyTorch

لماذا هذا مهم ستواجه PyTorch (أو إطار عمل آخر) في اليوم التالي لهذا المسار. كل ما بنيته يتقاطع معه؛ تختلف بعض الاصطلاحات فقط، وهي تسبب معظم الأخطاء عندما ينقل الأشخاص الكود.

لا يمكن تشغيل

PyTorch في هذا المتصفح، لذا يقوم هذا الدرس بتحويل مصفوفات الدورة إلى تخطيطات PyTorch باستخدام NumPy، ويتحقق من التحويل بدقة.

القنوات مصفوفة أوزان
Thingهذا المساقPyTorch
الوزن الخطيW هو (n_in, n_out)، المخرج x @ W + bweight هو (out, in)، المخرج x @ weight.T + bias
بدء الأوزانعادي مع انتشار sqrt(2 / n_in) (He) لكل طبقة، انحياز 0nn.Linear الافتراضي: موحد ضمن حوالي ±1 / sqrt(n_in)، والتحيز موحد أيضاً
Imagesالقنوات في الأخير، (N, H, W, C) أولا، (N, C, H, W)
Conv وزن(k × k × C_in, C_out)، الصفوف مرتبة حسب (row, column, channel)(C_out, C_in, k, k)
BatchNorm running varianceتباين الدفعة مقسوما على nغير المتحيز، القسمة على n - 1 (التطبيع لا يزال يستخدم n)
مسح التدرجاتالمنزل Adam.step()يصفيها بنفسهأنت تستدعي optimizer.zero_grad() في كل خطوة
أيُّ التنسورات تحتفظ بـ .gradكل عقدة في الرسم البيانيتنسورات الأوراق فقط مثل weights، إلا إذا استدعيت retain_grad()
GELUz * sigmoid(1.702 z)، تقريبالشكل الدقيق مع erf بشكل افتراضي؛ approximate='tanh' للنسخة السريعة
LSTMone على [x, h]، تجاهل bias بدأ عند 1 أو 3افصل الأوزان المدخلة والخفية باستخدام انحيازين، مع بدء جميعها بقيم صغيرة وعشوائية
كتلة Tiny GPT صغيرةReLU، لا توجد انحيازات في طبقاتها الخطية: 12d² + 4d أوزانGPT-2: GELU والتحيزات: 12d² + 13d

لا يوجد أي منها خطأ؛ إنها مجرد خيارات. التخطيطات هي التي تكسر المنفذ بصمت: وزن Linear منقول أو صورة channels-last تعطي أرقاماً خاطئة دون أي خطأ عندما تتطابق الأحجام بالصدفة.

الكلمات والرموز في هذا الدرس
head
واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
دورك

اكتب linear_to_torch(W, b) التي تعيد (weight, bias) و nhwc_to_nchw(X) و conv_to_torch(w, c_in) التي تعيد الوزن (C_out, C_in, k, k) و unbiased(var, n) التي تحول التباين المقسم على n إلى تباين يقسم على n - 1. يقوم الاختبار المخفي بتشغيل عملية convolution بنظام channels-first مكتوبة بطريقة PyTorch باستخدام أوزانك ويقارنها مع conv الخاص بالدورة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.