Silabus Pelajaran 152 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Di mana parameter-parameternya berada

Kenapa ini penting "Model dengan 7 miliar parameter" hanyalah aritmatika ini dengan d yang lebih besar. Bisa menghitung memberi tahu kamu ke mana memori pergi dan kenapa lebar itu mahal.

Per blok, matriks besarnya adalah Wq, Wk, Wv dan Wo (empat d kali d: 4d kuadrat) dan feed-forward (d kali 4d dan 4d kali d: 8d kuadrat). Itu adalah 12 d kuadrat, ditambah beberapa vektor panjang d untuk layer norms.

Di luar blok: token embeddings (V kali d, juga digunakan kembali sebagai output layer di model ini), vektor posisi (ctx kali d) dan layer norm terakhir.

Doubling d mengalikan parameter blok sebanyak 4, tapi tidak mengalikan waktu sebanyak 4. Hasil rekaman run width-128 memakan waktu sekitar 2.3 kali lebih lama dari width 64 rata-rata (bervariasi dari 1.1 sampai 4 kali antar run: wall-clock time pada mesin bersama itu tidak stabil), dan width 32 tidak lebih cepat dari width 64. Pada model sekecil ini, biaya tetap per langkah (Python, array kecil) adalah bagian besar dari waktu; 4x hanya terlihat setelah matrix multiplies mendominasi.

Kata dan simbol di pelajaran ini
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
vektor posisi
ditambahkan ke setiap token supaya attention bisa tahu urutan
layer norm
normalise setiap vektor secara terpisah: mean 0, spread 1, lalu kali g plus b
12 d kuadrat
parameter dalam matriks satu blok
Giliranku

Tulis count(V, d, layers, ctx) yang mengembalikan jumlah parameter tepat dari GPT ini (setiap blok punya 12 d squared + 4d: dua layer norms dengan g dan b). Ini harus cocok dengan model aslinya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.