Müfredat 246 dersinden 148. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Dikkatin sıra duygusu yoktur

Neden önemli "Dog bites man" ve "man bites dog" aynı kelimeleri kullanır. Öz dikkat tek başına onları ayırt edemez. Nedenini görmek her transformer'ın eklediği fazladan malzemeyi açıklar.

X'in satırlarını karıştır, öz dikkatin çıktı satırları da aynı şekilde karışır, başka hiçbir şey değişmez. Her konumun sonucu vektörlerin nerede durduğuna değil, hangi vektörlerin bulunduğuna bağlıdır. (Nedensel maskeyle bu tam doğru değildir: i konumu tam olarak i + 1 token görür, bu yüzden bir model onları saymayı öğrenebilir, ve konum vektörü olmayan nedensel modeller sırayı bu yolla öğrenir. Ama yavaş ve güvenilmezdir; açık konum vektörleri sırayı kolaylaştırır.)

Bu yüzden transformer'lar ilk katmandan önce her token'ın gömmesine bir konum vektörü ekler. Kaydedilmiş GPT konum başına bir vektör öğrendi, 32 tane. Onları silersek tahminlerine ne olur?

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
öz dikkat
her konum aynı metnin konumlarına dikkat eder
nedensel maske
köşegenin üstündeki puanlar eksi sonsuza ayarlanır: hiçbir konum geleceği görmez
konum vektörü
dikkat sırayı ayırt edebilsin diye her token'a eklenir
Senin sıran

shuffle_check(f) yaz: rastgele bir X'in satırlarını permüte etmek f'nin çıktı satırlarını aynı şekilde permüte ediyorsa True. Burada f(X, Wq, Wk, Wv), aşağıdaki attn gibi yalnızca çıktıyı döndürür; rastgele X ve ağırlıkları shuffle_check içinde yap. Sonra with_pos ve without_pos'u doldur: kaydedilmiş modelin ayrılmış veri kaybı (model.eval_loss(held, n=32)) olduğu gibi ve model.P["pos"].data sıfırlara ayarlanmışken (sonra geri koy).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.