سرفصل‌ها درس 157 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

موتور شما، به زبان PyTorch

چرا مهم است فردای پس از این دوره با PyTorch (یا چارچوبی دیگر) روبه‌رو می‌شوید. هر چیزی که ساختید بر آن نگاشت می‌شود؛ فقط چند قرارداد فرق دارد و همان‌ها بیشتر اشکال‌ها را هنگام انتقال کد ایجاد می‌کنند.

PyTorch نمی‌تواند در این مرورگر اجرا شود، پس این درس آرایه‌های دوره را با NumPy به چیدمان‌های PyTorch تبدیل می‌کند و تبدیل را دقیقاً بررسی می‌کند.

چیزاین دورهPyTorch
وزن خطیW برابر (n_in, n_out)، خروجی x @ W + bweight برابر (out, in)، خروجی x @ weight.T + bias
وزن‌های آغازیننرمال با پراکندگی sqrt(2 / n_in) (He) برای هر لایه، بایاس 0پیش‌فرض nn.Linear: یکنواخت در حدود ±1 / sqrt(n_in)، بایاس هم یکنواخت
تصاویرکانال-در-آخر، (N, H, W, C)کانال-در-اول، (N, C, H, W)
وزن conv(k × k × C_in, C_out)، ردیف‌ها به ترتیب (ردیف، ستون، کانال)(C_out, C_in, k, k)
واریانس جاری BatchNormواریانس دسته با تقسیم بر nنسخهٔ نااریب، با تقسیم بر n - 1 (نرمال‌سازی همچنان از n استفاده می‌کند)
پاک کردن گرادیان‌هاAdam.step() دوره خودش پاکشان می‌کندشما در هر گام optimizer.zero_grad() را فراخوانی می‌کنید
کدام تنسورها .grad را نگه می‌دارندهر گرهٔ گراففقط تنسورهای برگ مثل وزن‌ها، مگر اینکه retain_grad() را فراخوانی کنید
GELUz * sigmoid(1.702 z)، یک تقریببه‌طور پیش‌فرض شکل دقیق با erf؛ approximate='tanh' برای نسخهٔ سریع
LSTMیک ماتریس وزن روی [x, h]، بایاس فراموشی با شروع از 1 یا 3وزن‌های جداگانهٔ ورودی و پنهان با دو بایاس، همه کوچک و تصادفی شروع‌شده
بلوک GPT ریزReLU، بدون بایاس در لایه‌های خطی‌اش: 12d² + 4d وزنGPT-2: GELU و بایاس‌ها: 12d² + 13d

هیچ‌کدام از این‌ها اشتباه نیست؛ انتخاب‌اند. آن‌هایی که بی‌صدا یک انتقال را خراب می‌کنند چیدمان‌ها هستند: یک وزن خطی ترانهاده یا یک تصویر کانال-در-آخر وقتی اندازه‌ها اتفاقاً جور باشند بدون هیچ خطایی اعداد اشتباه می‌دهد.

واژه‌ها و نمادهای این درس
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نوبت شما

linear_to_torch(W, b) را بنویسید که (weight, bias) مربوط به PyTorch را برمی‌گرداند، nhwc_to_nchw(X)، conv_to_torch(w, c_in) که وزن (C_out, C_in, k, k) را برمی‌گرداند، و unbiased(var, n) که واریانسی را که بر n تقسیم شده به واریانسی که بر n - 1 تقسیم می‌شود تبدیل می‌کند. آزمون پنهان یک کانولوشن کانال-در-اول را که به روش PyTorch نوشته شده با وزن‌های شما اجرا می‌کند و با conv دوره مقایسه می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.