Silabus Pelajaran 153 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Latih GPT kecil, secara langsung

Kenapa ini penting Semuanya menyatu: embeddings, positions, masked multi-head attention, residuals dan layer norms, dilatih dengan Adam untuk next-character prediction. Di CPU kamu sendiri, dalam hitungan detik.

Lebar 32, 2 blok, 4 head, 32 karakter konteks: sekitar 29,000 parameter. 150 langkah dengan 16 snippet masing-masing, beberapa detik di laptop. Tebak Kurvanya: loss di awal dan setelah 150 langkah. (Tebakan seragam atas 95 karakter adalah ln 95 = 4.55.)

Lalu ambil sampel darinya. Setelah 150 langkah, ia membuat sup huruf dengan spasi di tempat yang kira-kira benar; model width-64 yang dicatat, dilatih selama 2,000 langkah, menulis teks berbentuk kata. Kode yang sama, komputasi lebih banyak.

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
layer norm
normalise setiap vektor sendiri: mean 0, spread 1, lalu kali g plus b
Giliranku

Isi my_guess, lalu latih dengan model.train (150 langkah, laju belajar 0.003, batch 16) pada corpus.TEXT dan simpan riwayatnya di hist. Panggilannya hist = model.train(text, steps=..., lr=..., batch=...); hasilnya dictionary yang hist['loss']-nya adalah loss pelatihan yang dicatat setiap 20 langkah (dan di langkah terakhir), dan model.generate(prompt, n, temperature) menulis teks sesudahnya. (help(model.train) juga menampilkan ini.) Rata-rata 5 loss terakhir yang dicatat harus di bawah 2.85.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.