Satu blok transformer, secara manual
Kenapa ini penting Sebuah GPT adalah tumpukan blok yang sama. Tulis satu dengan NumPy biasa, jalankan dengan bobot asli dari model yang dicatat, dan jika angka kamu cocok dengan milik model, kamu memahami setiap baris dari sebuah transformer.
Lihat sendiri
Mainkan animasinya. Sebuah blok mengambil h (t posisi kali d) dan melakukan dua hal, masing-masing ditambahkan kembali ke h (jalur residual dari Modul 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Nama model yang dicatat: qkv{l} menyimpan Wq, Wk dan Wv berdampingan (d kali 3d), o{l} adalah Wo, g1{l}, b1{l} dan g2{l}, b2{l} adalah dua layer norms, w1{l}, w2{l} adalah feed-forward. Head h menggunakan kolom h kali 16 sampai (h + 1) kali 16 dari masing-masing Q, K dan V.
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
- layer norm
- normalise setiap vektor masing-masing: mean 0, spread 1, lalu kali g plus b
- blok transformer
- h + attention(norm(h)), lalu h + feed-forward(norm(h))
Tulis block(h, l) untuk satu urutan (h adalah t kali d). Model lengkap sudah dirakit untukmu; logits nya harus cocok dengan model.logits.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.