Hızlı üretim: anahtar-değer önbelleği
Neden önemli Sohbet botları her seferinde bir token yazar. Saf şekilde yapıldığında her yeni token şimdiye kadarki bütün metnin anahtarlarını ve değerlerini yeniden hesaplar. Anahtar-değer önbelleği cevapların hızla akmasının nedenidir.
Gör
Animasyonu oynat. Nedensel maskeyle önceki konumların anahtarları ve değerleri yeni token'lar geldiğinde asla değişmez. Bu yüzden onları tut: her yeni token için yalnızca kendi q, k ve v değerini hesapla, k ve v'yi önbelleğe ekle, ve q ile önbellekteki anahtarlar üzerinde dikkat et.
Yeni token başına iş: saf yol t uzunluğunda bir metin için t anahtar ve değer hesaplar; önbellek 1 hesaplar. 1.000 token'lık bir cevapta bu 1.000'e karşı yaklaşık 500.000 anahtar hesabıdır.
Bu dersteki kelimeler ve semboller
- sorgu, anahtar, değer
- bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- öz dikkat
- her konum aynı metnin konumlarına dikkat eder
- nedensel maske
- köşegenin üstündeki puanlar eksi sonsuza ayarlanır: hiçbir konum geleceği görmez
- anahtar-değer önbelleği
- her yeni token bir adıma mal olsun diye önceki anahtarları ve değerleri tutmak
cached_step(x, cache, Wq, Wk, Wv) yaz: x yeni bir satırdır; anahtarını ve değerini cache["K"] ve cache["V"]'ye (listeler) ekle, ve önbellekteki bütün konumlar üzerindeki dikkat çıktısını döndür. X'in satırlarını birer birer beslemek nedensel öz dikkati tam olarak yeniden üretmeli. keys_naive ve keys_cached'i ayarla: her yöntemin 1.000 token üretmek için kaç anahtar vektörü hesapladığı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.