Latih GPT kecil, secara langsung
Kenapa ini penting Semuanya menyatu: embeddings, positions, masked multi-head attention, residuals dan layer norms, dilatih dengan Adam untuk next-character prediction. Di CPU kamu sendiri, dalam hitungan detik.
Lebar 32, 2 blok, 4 head, 32 karakter konteks: sekitar 29,000 parameter. 150 langkah dengan 16 snippet masing-masing, beberapa detik di laptop. Tebak Kurvanya: loss di awal dan setelah 150 langkah. (Tebakan seragam atas 95 karakter adalah ln 95 = 4.55.)
Lalu ambil sampel darinya. Setelah 150 langkah, ia membuat sup huruf dengan spasi di tempat yang kira-kira benar; model width-64 yang dicatat, dilatih selama 2,000 langkah, menulis teks berbentuk kata. Kode yang sama, komputasi lebih banyak.
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
- layer norm
- normalise setiap vektor sendiri: mean 0, spread 1, lalu kali g plus b
Isi my_guess, lalu latih dengan model.train (150 langkah, laju belajar 0.003, batch 16) pada corpus.TEXT dan simpan riwayatnya di hist. Panggilannya hist = model.train(text, steps=..., lr=..., batch=...); hasilnya dictionary yang hist['loss']-nya adalah loss pelatihan yang dicatat setiap 20 langkah (dan di langkah terakhir), dan model.generate(prompt, n, temperature) menulis teks sesudahnya. (help(model.train) juga menampilkan ini.) Rata-rata 5 loss terakhir yang dicatat harus di bawah 2.85.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.