Silabus Pelajaran 148 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Attention tidak punya urutan

Kenapa ini penting "Dog bites man" dan "man bites dog" menggunakan kata yang sama. Self-attention, sendirian, tidak bisa membedakannya. Melihat alasannya menjelaskan bahan tambahan yang ditambahkan setiap transformer.

Acak baris X dan baris output self-attention diacak dengan cara yang sama, tidak ada yang lain yang berubah. Hasil setiap posisi bergantung pada vektor mana yang ada, bukan di mana mereka berada. (Dengan causal mask ini tidak sepenuhnya benar: posisi i melihat tepat i + 1 token, jadi model bisa belajar menghitungnya, dan model kausal tanpa vektor posisi memang belajar urutan dengan cara itu. Tapi itu lambat dan tidak bisa diandalkan; vektor posisi yang eksplisit membuat urutan jadi mudah.)

Jadi transformers menambahkan vektor posisi ke setiap embedding token sebelum layer pertama. GPT yang dicatat mempelajari satu vektor per posisi, ada 32 vektor. Apa yang terjadi pada prediksinya jika kita menghapusnya?

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
self-attention
setiap posisi memperhatikan posisi dari teks yang sama
causal mask
skor di atas diagonal diatur ke minus tak hingga: tidak ada posisi yang melihat masa depan
vektor posisi
ditambahkan ke setiap token supaya attention bisa tahu urutan
Giliranku

Tulis shuffle_check(f): True jika mengacak baris dari X acak mengacak baris output f dengan cara yang sama. Di sini f(X, Wq, Wk, Wv) hanya mengembalikan output, seperti attn di bawah; buat X acak dan weights di dalam shuffle_check. Lalu isi with_pos dan without_pos: loss yang ditahan dari model yang dicatat (model.eval_loss(held, n=32)) apa adanya dan dengan model.P["pos"].data diatur ke nol (kembalikan lagi setelahnya).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.