Posisi sebagai gelombang
Kenapa ini penting Vektor posisi yang dipelajari berhenti pada teks terpanjang yang dilihat saat pelatihan. Transformer asli menggunakan gelombang tetap sebagai gantinya, yang memberikan setiap posisi pola unik dan membuat "3 langkah terpisah" terlihat sama di mana pun itu terjadi.
Untuk posisi p dan indeks pasangan i (0, 1, 2, ...), dengan total d angka:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
Pasangan pertama adalah gelombang cepat, pasangan berikutnya semakin lambat, seperti jarum jam: detik, menit, jam. Bersama mereka memberikan pembacaan yang berbeda untuk setiap posisi.
Sifat yang berguna: hasil kali titik PE[p] . PE[p + k] hanya bergantung pada k, jaraknya, bukan pada p. (Setiap pasangan menyumbang cos dari selisih sudut, berdasarkan identitas sin a sin b + cos a cos b = cos(a - b).)
Di mana field saat ini Kebanyakan model bahasa terbuka saat ini tidak menggunakan waves yang ditambahkan ke input maupun learned position vectors. RoPE (rotary position embedding, Su et al. 2021) memutar setiap query dan key vector dengan sudut yang bertambah sesuai posisinya, setelah query dan key projections, sehingga skor antara dua posisi hanya bergantung pada seberapa jauh jaraknya. ALiBi (Press et al. 2021) tidak menambahkan position vectors sama sekali: ia mengurangi penalti dari setiap skor attention yang bertambah sesuai jarak. Keduanya bekerja lebih baik untuk teks yang lebih panjang dari data pelatihan. Waves di sini adalah pilihan transformer asli dan yang paling mudah dilihat.
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- vektor posisi
- ditambahkan ke setiap token supaya attention bisa tahu urutan
Tulis positions(n, d) yang mengembalikan array n kali d. Lalu atur same_distance ke selisih terbesar antara PE[p] . PE[p + 5] untuk p = 0 sampai 50 (hasilnya seharusnya hampir 0).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.