محركك، بمصطلحات PyTorch
لماذا هذا مهم ستواجه PyTorch (أو إطار عمل آخر) في اليوم التالي لهذا المسار. كل ما بنيته يتقاطع معه؛ تختلف بعض الاصطلاحات فقط، وهي تسبب معظم الأخطاء عندما ينقل الأشخاص الكود.
PyTorch في هذا المتصفح، لذا يقوم هذا الدرس بتحويل مصفوفات الدورة إلى تخطيطات PyTorch باستخدام NumPy، ويتحقق من التحويل بدقة.
| Thing | هذا المساق | PyTorch |
|---|---|---|
| الوزن الخطي | W هو (n_in, n_out)، المخرج x @ W + b | weight هو (out, in)، المخرج x @ weight.T + bias |
| بدء الأوزان | عادي مع انتشار sqrt(2 / n_in) (He) لكل طبقة، انحياز 0 | nn.Linear الافتراضي: موحد ضمن حوالي ±1 / sqrt(n_in)، والتحيز موحد أيضاً |
| Images | القنوات في الأخير، (N, H, W, C) | القنواتأولا، (N, C, H, W) |
| Conv وزن | (k × k × C_in, C_out)، الصفوف مرتبة حسب (row, column, channel) | (C_out, C_in, k, k) |
| BatchNorm running variance | تباين الدفعة مقسوما على n | غير المتحيز، القسمة على n - 1 (التطبيع لا يزال يستخدم n) |
| مسح التدرجات | المنزل Adam.step()يصفيها بنفسه | أنت تستدعي optimizer.zero_grad() في كل خطوة |
أيُّ التنسورات تحتفظ بـ .grad | كل عقدة في الرسم البياني | تنسورات الأوراق فقط مثل weights، إلا إذا استدعيت retain_grad() |
| GELU | z * sigmoid(1.702 z)، تقريب | الشكل الدقيق مع erf بشكل افتراضي؛ approximate='tanh' للنسخة السريعة |
| LSTM | مصفوفة أوزانone على [x, h]، تجاهل bias بدأ عند 1 أو 3 | افصل الأوزان المدخلة والخفية باستخدام انحيازين، مع بدء جميعها بقيم صغيرة وعشوائية |
| كتلة Tiny GPT صغيرة | ReLU، لا توجد انحيازات في طبقاتها الخطية: 12d² + 4d أوزان | GPT-2: GELU والتحيزات: 12d² + 13d |
لا يوجد أي منها خطأ؛ إنها مجرد خيارات. التخطيطات هي التي تكسر المنفذ بصمت: وزن Linear منقول أو صورة channels-last تعطي أرقاماً خاطئة دون أي خطأ عندما تتطابق الأحجام بالصدفة.
الكلمات والرموز في هذا الدرس
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
اكتب linear_to_torch(W, b) التي تعيد (weight, bias) و nhwc_to_nchw(X) و conv_to_torch(w, c_in) التي تعيد الوزن (C_out, C_in, k, k) و unbiased(var, n) التي تحول التباين المقسم على n إلى تباين يقسم على n - 1. يقوم الاختبار المخفي بتشغيل عملية convolution بنظام channels-first مكتوبة بطريقة PyTorch باستخدام أوزانك ويقارنها مع conv الخاص بالدورة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.