Menghasilkan dengan cepat: cache kunci-nilai
Kenapa ini penting Chatbot menulis satu token setiap saat. Jika dilakukan secara naif, setiap token baru akan menghitung ulang keys dan values dari seluruh teks sejauh ini. Key-value cache adalah alasan mengapa balasan mengalir dengan cepat.
Lihat sendiri
Mainkan animasinya. Dengan causal mask, kunci dan nilai dari posisi sebelumnya tidak pernah berubah saat token baru tiba. Jadi simpanlah mereka: untuk setiap token baru, hitung hanya q, k, dan v miliknya sendiri, tambahkan k dan v ke cache, dan lakukan attend dengan q terhadap kunci yang sudah di-cache.
Kerja per token baru: cara naif menghitung t kunci dan nilai untuk teks sepanjang t; cache menghitung 1. Untuk balasan 1,000 token itu sekitar 500,000 komputasi kunci melawan 1,000.
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- self-attention
- setiap posisi memperhatikan posisi dari teks yang sama
- causal mask
- skor di atas diagonal diatur ke minus infinity: tidak ada posisi yang melihat masa depan
- cache key-value
- simpan kunci dan nilai sebelumnya supaya setiap token baru hanya memakan satu langkah
Tulis cached_step(x, cache, Wq, Wk, Wv): x adalah satu baris baru; tambahkan key dan value nya ke cache["K"] dan cache["V"] (list), lalu kembalikan output attention nya di atas semua posisi yang tersimpan. Memasukkan baris X satu per satu harus menghasilkan causal self-attention yang tepat. Atur keys_naive dan keys_cached: berapa banyak vektor key yang dihitung setiap metode untuk menghasilkan 1,000 token.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.