Mesin kamu, dalam istilah PyTorch
Kenapa ini penting Kamu akan bertemu PyTorch (atau framework lain) sehari setelah kursus ini. Semua yang kamu bangun akan terpetakan ke sana; hanya beberapa konvensi yang berbeda, dan itu menyebabkan sebagian besar bug saat orang memindahkan kode.
PyTorch tidak bisa jalan di browser ini, jadi pelajaran ini mengubah array kursus menjadi layout PyTorch dengan NumPy, dan memeriksa konversinya dengan tepat.
| Thing | Kursus ini | PyTorch |
|---|---|---|
| Berat linear | W adalah (n_in, n_out), output x @ W + b | weight adalah (out, in), output x @ weight.T + bias |
| Bobot awal | normal dengan spread sqrt(2 / n_in) (He) untuk setiap layer, bias 0 | nn.Linear default: seragam dalam sekitar ±1 / sqrt(n_in), bias juga seragam |
| Gambar | saluran terakhir, (N, H, W, C) | channels dulu, (N, C, H, W) |
| Konversi bobot | (k × k × C_in, C_out), baris diurutkan berdasarkan (row, column, channel) | (C_out, C_in, k, k) |
| BatchNorm varians berjalan | varians batch dibagi n | yang tidak bias, membagi dengan n - 1 (normalisasi tetap menggunakan n) |
| Menghapus gradien | rumah Adam.step()membersihkannya sendiri | kamu panggil optimizer.zero_grad() setiap langkah |
Tensor mana yang menyimpan .grad | setiap node dari graph | hanya leaf tensors seperti weights, kecuali kamu memanggil retain_grad() |
| GELU | z * sigmoid(1.702 z), sebuah perkiraan | bentuk tepat dengan erf secara default; approximate='tanh' untuk yang cepat |
| LSTM | Matriks bobotone pada [x, h], lupakan bias dimulai dari 1 atau 3 | pisahkan input dan hidden weights dengan dua biases, semuanya dimulai kecil dan acak |
| Blok GPT Kecil | ReLU, tidak ada bias di layer linearnya: 12d² + 4d bobot | GPT-2: GELU dan bias: 12d² + 13d |
Tidak ada yang salah; ini hanya pilihan. Yang merusak port secara diam-diam adalah tata letaknya: Linear weight yang ditransposisi atau gambar channels-last memberikan angka yang salah tanpa error saat ukurannya kebetulan cocok.
Kata dan simbol di pelajaran ini
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Tulis linear_to_torch(W, b) yang mengembalikan (weight, bias), nhwc_to_nchw(X), conv_to_torch(w, c_in) yang mengembalikan bobot (C_out, C_in, k, k), dan unbiased(var, n) yang mengubah varians yang dibagi n menjadi yang dibagi n - 1. Tes tersembunyi menjalankan konvolusi channels-first yang ditulis dengan cara PyTorch menggunakan bobot kamu dan membandingkannya dengan conv.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.