Di mana parameter-parameternya berada
Kenapa ini penting "Model dengan 7 miliar parameter" hanyalah aritmatika ini dengan d yang lebih besar. Bisa menghitung memberi tahu kamu ke mana memori pergi dan kenapa lebar itu mahal.
Per blok, matriks besarnya adalah Wq, Wk, Wv dan Wo (empat d kali d: 4d kuadrat) dan feed-forward (d kali 4d dan 4d kali d: 8d kuadrat). Itu adalah 12 d kuadrat, ditambah beberapa vektor panjang d untuk layer norms.
Di luar blok: token embeddings (V kali d, juga digunakan kembali sebagai output layer di model ini), vektor posisi (ctx kali d) dan layer norm terakhir.
Doubling d mengalikan parameter blok sebanyak 4, tapi tidak mengalikan waktu sebanyak 4. Hasil rekaman run width-128 memakan waktu sekitar 2.3 kali lebih lama dari width 64 rata-rata (bervariasi dari 1.1 sampai 4 kali antar run: wall-clock time pada mesin bersama itu tidak stabil), dan width 32 tidak lebih cepat dari width 64. Pada model sekecil ini, biaya tetap per langkah (Python, array kecil) adalah bagian besar dari waktu; 4x hanya terlihat setelah matrix multiplies mendominasi.
Kata dan simbol di pelajaran ini
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
- vektor posisi
- ditambahkan ke setiap token supaya attention bisa tahu urutan
- layer norm
- normalise setiap vektor secara terpisah: mean 0, spread 1, lalu kali g plus b
- 12 d kuadrat
- parameter dalam matriks satu blok
Tulis count(V, d, layers, ctx) yang mengembalikan jumlah parameter tepat dari GPT ini (setiap blok punya 12 d squared + 4d: dua layer norms dengan g dan b). Ini harus cocok dengan model aslinya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.