Müfredat 246 dersinden 156. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Hızlı üretim: anahtar-değer önbelleği

Neden önemli Sohbet botları her seferinde bir token yazar. Saf şekilde yapıldığında her yeni token şimdiye kadarki bütün metnin anahtarlarını ve değerlerini yeniden hesaplar. Anahtar-değer önbelleği cevapların hızla akmasının nedenidir.

Gör

Animasyonu oynat. Nedensel maskeyle önceki konumların anahtarları ve değerleri yeni token'lar geldiğinde asla değişmez. Bu yüzden onları tut: her yeni token için yalnızca kendi q, k ve v değerini hesapla, k ve v'yi önbelleğe ekle, ve q ile önbellekteki anahtarlar üzerinde dikkat et.

Yeni token başına iş: saf yol t uzunluğunda bir metin için t anahtar ve değer hesaplar; önbellek 1 hesaplar. 1.000 token'lık bir cevapta bu 1.000'e karşı yaklaşık 500.000 anahtar hesabıdır.

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
öz dikkat
her konum aynı metnin konumlarına dikkat eder
nedensel maske
köşegenin üstündeki puanlar eksi sonsuza ayarlanır: hiçbir konum geleceği görmez
anahtar-değer önbelleği
her yeni token bir adıma mal olsun diye önceki anahtarları ve değerleri tutmak
Senin sıran

cached_step(x, cache, Wq, Wk, Wv) yaz: x yeni bir satırdır; anahtarını ve değerini cache["K"] ve cache["V"]'ye (listeler) ekle, ve önbellekteki bütün konumlar üzerindeki dikkat çıktısını döndür. X'in satırlarını birer birer beslemek nedensel öz dikkati tam olarak yeniden üretmeli. keys_naive ve keys_cached'i ayarla: her yöntemin 1.000 token üretmek için kaç anahtar vektörü hesapladığı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.