Silabus Pelajaran 151 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Satu blok transformer, secara manual

Kenapa ini penting Sebuah GPT adalah tumpukan blok yang sama. Tulis satu dengan NumPy biasa, jalankan dengan bobot asli dari model yang dicatat, dan jika angka kamu cocok dengan milik model, kamu memahami setiap baris dari sebuah transformer.

Lihat sendiri

Mainkan animasinya. Sebuah blok mengambil h (t posisi kali d) dan melakukan dua hal, masing-masing ditambahkan kembali ke h (jalur residual dari Modul 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Nama model yang dicatat: qkv{l} menyimpan Wq, Wk dan Wv berdampingan (d kali 3d), o{l} adalah Wo, g1{l}, b1{l} dan g2{l}, b2{l} adalah dua layer norms, w1{l}, w2{l} adalah feed-forward. Head h menggunakan kolom h kali 16 sampai (h + 1) kali 16 dari masing-masing Q, K dan V.

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
layer norm
normalise setiap vektor masing-masing: mean 0, spread 1, lalu kali g plus b
blok transformer
h + attention(norm(h)), lalu h + feed-forward(norm(h))
Giliranku

Tulis block(h, l) untuk satu urutan (h adalah t kali d). Model lengkap sudah dirakit untukmu; logits nya harus cocok dengan model.logits.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.