Silabus Pelajaran 157 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Mesin kamu, dalam istilah PyTorch

Kenapa ini penting Kamu akan bertemu PyTorch (atau framework lain) sehari setelah kursus ini. Semua yang kamu bangun akan terpetakan ke sana; hanya beberapa konvensi yang berbeda, dan itu menyebabkan sebagian besar bug saat orang memindahkan kode.

PyTorch tidak bisa jalan di browser ini, jadi pelajaran ini mengubah array kursus menjadi layout PyTorch dengan NumPy, dan memeriksa konversinya dengan tepat.

Matriks bobot
ThingKursus iniPyTorch
Berat linearW adalah (n_in, n_out), output x @ W + bweight adalah (out, in), output x @ weight.T + bias
Bobot awalnormal dengan spread sqrt(2 / n_in) (He) untuk setiap layer, bias 0nn.Linear default: seragam dalam sekitar ±1 / sqrt(n_in), bias juga seragam
Gambarsaluran terakhir, (N, H, W, C)channels dulu, (N, C, H, W)
Konversi bobot(k × k × C_in, C_out), baris diurutkan berdasarkan (row, column, channel)(C_out, C_in, k, k)
BatchNorm varians berjalanvarians batch dibagi nyang tidak bias, membagi dengan n - 1 (normalisasi tetap menggunakan n)
Menghapus gradienrumah Adam.step()membersihkannya sendirikamu panggil optimizer.zero_grad() setiap langkah
Tensor mana yang menyimpan .gradsetiap node dari graphhanya leaf tensors seperti weights, kecuali kamu memanggil retain_grad()
GELUz * sigmoid(1.702 z), sebuah perkiraanbentuk tepat dengan erf secara default; approximate='tanh' untuk yang cepat
LSTMone pada [x, h], lupakan bias dimulai dari 1 atau 3pisahkan input dan hidden weights dengan dua biases, semuanya dimulai kecil dan acak
Blok GPT KecilReLU, tidak ada bias di layer linearnya: 12d² + 4d bobotGPT-2: GELU dan bias: 12d² + 13d

Tidak ada yang salah; ini hanya pilihan. Yang merusak port secara diam-diam adalah tata letaknya: Linear weight yang ditransposisi atau gambar channels-last memberikan angka yang salah tanpa error saat ukurannya kebetulan cocok.

Kata dan simbol di pelajaran ini
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Giliranku

Tulis linear_to_torch(W, b) yang mengembalikan (weight, bias), nhwc_to_nchw(X), conv_to_torch(w, c_in) yang mengembalikan bobot (C_out, C_in, k, k), dan unbiased(var, n) yang mengubah varians yang dibagi n menjadi yang dibagi n - 1. Tes tersembunyi menjalankan konvolusi channels-first yang ditulis dengan cara PyTorch menggunakan bobot kamu dan membandingkannya dengan conv.

milik kursus.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.