Silabus Pelajaran 156 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Menghasilkan dengan cepat: cache kunci-nilai

Kenapa ini penting Chatbot menulis satu token setiap saat. Jika dilakukan secara naif, setiap token baru akan menghitung ulang keys dan values dari seluruh teks sejauh ini. Key-value cache adalah alasan mengapa balasan mengalir dengan cepat.

Lihat sendiri

Mainkan animasinya. Dengan causal mask, kunci dan nilai dari posisi sebelumnya tidak pernah berubah saat token baru tiba. Jadi simpanlah mereka: untuk setiap token baru, hitung hanya q, k, dan v miliknya sendiri, tambahkan k dan v ke cache, dan lakukan attend dengan q terhadap kunci yang sudah di-cache.

Kerja per token baru: cara naif menghitung t kunci dan nilai untuk teks sepanjang t; cache menghitung 1. Untuk balasan 1,000 token itu sekitar 500,000 komputasi kunci melawan 1,000.

Kata dan simbol di pelajaran ini
query, key, value
apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
self-attention
setiap posisi memperhatikan posisi dari teks yang sama
causal mask
skor di atas diagonal diatur ke minus infinity: tidak ada posisi yang melihat masa depan
cache key-value
simpan kunci dan nilai sebelumnya supaya setiap token baru hanya memakan satu langkah
Giliranku

Tulis cached_step(x, cache, Wq, Wk, Wv): x adalah satu baris baru; tambahkan key dan value nya ke cache["K"] dan cache["V"] (list), lalu kembalikan output attention nya di atas semua posisi yang tersimpan. Memasukkan baris X satu per satu harus menghasilkan causal self-attention yang tepat. Atur keys_naive dan keys_cached: berapa banyak vektor key yang dihitung setiap metode untuk menghasilkan 1,000 token.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.