Dikkat yumuşak bir aramadır
Neden önemli Dikkat bir transformer'daki tek yeni fikirdir. Geri kalan her şeyi zaten biliyorsun. Bir girdiyi seçmek yerine hepsini harmanlayan bir sözlük aramasıdır.
Gör
Animasyonu oynat. Bir Python sözlüğü bir anahtarı tam olarak eşleştirir ve tek bir değer döndürür. Dikkatin bir sorgusu q, bir anahtarlar listesi ve bir değerler listesi vardır. Sorguyu her anahtara karşı bir iç çarpımla puanlar, puanları softmax ile ağırlıklara çevirir (pozitif, toplamı 1), ve değerlerin ağırlıklı ortalamasını döndürür.
weights = softmax(K @ q)
output = weights @ V
Küçük sayılar
q = [1, 0]. [2, 0], [0, 2], [0, 0] anahtarları 2, 0, 0 puanlarını verir. Softmax: e^2 = 7.39 ve 1 ve 1, yani ağırlıklar 0.79, 0.11, 0.11. 10, 20, 30 değerleriyle çıktı 0.79 çarpı 10 + 0.11 çarpı 20 + 0.11 çarpı 30 = 13.2'dir: çoğunlukla ilk değer, diğerlerinden biraz.
Sorgu, anahtar, değer: aradığım şey; her öğenin eşleşmek için sunduğu şey; eşleşirse her öğenin verdiği şey.
Bu dersteki kelimeler ve semboller
- sorgu, anahtar, değer
- bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
Tek bir sorgu için attend(q, K, V) yaz: (weights, output) döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.