موتور شما، به زبان PyTorch
چرا مهم است فردای پس از این دوره با PyTorch (یا چارچوبی دیگر) روبهرو میشوید. هر چیزی که ساختید بر آن نگاشت میشود؛ فقط چند قرارداد فرق دارد و همانها بیشتر اشکالها را هنگام انتقال کد ایجاد میکنند.
PyTorch نمیتواند در این مرورگر اجرا شود، پس این درس آرایههای دوره را با NumPy به چیدمانهای PyTorch تبدیل میکند و تبدیل را دقیقاً بررسی میکند.
| چیز | این دوره | PyTorch |
|---|---|---|
| وزن خطی | W برابر (n_in, n_out)، خروجی x @ W + b | weight برابر (out, in)، خروجی x @ weight.T + bias |
| وزنهای آغازین | نرمال با پراکندگی sqrt(2 / n_in) (He) برای هر لایه، بایاس 0 | پیشفرض nn.Linear: یکنواخت در حدود ±1 / sqrt(n_in)، بایاس هم یکنواخت |
| تصاویر | کانال-در-آخر، (N, H, W, C) | کانال-در-اول، (N, C, H, W) |
| وزن conv | (k × k × C_in, C_out)، ردیفها به ترتیب (ردیف، ستون، کانال) | (C_out, C_in, k, k) |
| واریانس جاری BatchNorm | واریانس دسته با تقسیم بر n | نسخهٔ نااریب، با تقسیم بر n - 1 (نرمالسازی همچنان از n استفاده میکند) |
| پاک کردن گرادیانها | Adam.step() دوره خودش پاکشان میکند | شما در هر گام optimizer.zero_grad() را فراخوانی میکنید |
کدام تنسورها .grad را نگه میدارند | هر گرهٔ گراف | فقط تنسورهای برگ مثل وزنها، مگر اینکه retain_grad() را فراخوانی کنید |
| GELU | z * sigmoid(1.702 z)، یک تقریب | بهطور پیشفرض شکل دقیق با erf؛ approximate='tanh' برای نسخهٔ سریع |
| LSTM | یک ماتریس وزن روی [x, h]، بایاس فراموشی با شروع از 1 یا 3 | وزنهای جداگانهٔ ورودی و پنهان با دو بایاس، همه کوچک و تصادفی شروعشده |
| بلوک GPT ریز | ReLU، بدون بایاس در لایههای خطیاش: 12d² + 4d وزن | GPT-2: GELU و بایاسها: 12d² + 13d |
هیچکدام از اینها اشتباه نیست؛ انتخاباند. آنهایی که بیصدا یک انتقال را خراب میکنند چیدمانها هستند: یک وزن خطی ترانهاده یا یک تصویر کانال-در-آخر وقتی اندازهها اتفاقاً جور باشند بدون هیچ خطایی اعداد اشتباه میدهد.
واژهها و نمادهای این درس
- سر (head)
- یکی از H توجه باریکتر که کنار هم اجرا میشوند، هر کدام با الگوی خودش
linear_to_torch(W, b) را بنویسید که (weight, bias) مربوط به PyTorch را برمیگرداند، nhwc_to_nchw(X)، conv_to_torch(w, c_in) که وزن (C_out, C_in, k, k) را برمیگرداند، و unbiased(var, n) که واریانسی را که بر n تقسیم شده به واریانسی که بر n - 1 تقسیم میشود تبدیل میکند. آزمون پنهان یک کانولوشن کانال-در-اول را که به روش PyTorch نوشته شده با وزنهای شما اجرا میکند و با conv دوره مقایسه میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.