Dikkatin sıra duygusu yoktur
Neden önemli "Dog bites man" ve "man bites dog" aynı kelimeleri kullanır. Öz dikkat tek başına onları ayırt edemez. Nedenini görmek her transformer'ın eklediği fazladan malzemeyi açıklar.
X'in satırlarını karıştır, öz dikkatin çıktı satırları da aynı şekilde karışır, başka hiçbir şey değişmez. Her konumun sonucu vektörlerin nerede durduğuna değil, hangi vektörlerin bulunduğuna bağlıdır. (Nedensel maskeyle bu tam doğru değildir: i konumu tam olarak i + 1 token görür, bu yüzden bir model onları saymayı öğrenebilir, ve konum vektörü olmayan nedensel modeller sırayı bu yolla öğrenir. Ama yavaş ve güvenilmezdir; açık konum vektörleri sırayı kolaylaştırır.)
Bu yüzden transformer'lar ilk katmandan önce her token'ın gömmesine bir konum vektörü ekler. Kaydedilmiş GPT konum başına bir vektör öğrendi, 32 tane. Onları silersek tahminlerine ne olur?
Bu dersteki kelimeler ve semboller
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- öz dikkat
- her konum aynı metnin konumlarına dikkat eder
- nedensel maske
- köşegenin üstündeki puanlar eksi sonsuza ayarlanır: hiçbir konum geleceği görmez
- konum vektörü
- dikkat sırayı ayırt edebilsin diye her token'a eklenir
shuffle_check(f) yaz: rastgele bir X'in satırlarını permüte etmek f'nin çıktı satırlarını aynı şekilde permüte ediyorsa True. Burada f(X, Wq, Wk, Wv), aşağıdaki attn gibi yalnızca çıktıyı döndürür; rastgele X ve ağırlıkları shuffle_check içinde yap. Sonra with_pos ve without_pos'u doldur: kaydedilmiş modelin ayrılmış veri kaybı (model.eval_loss(held, n=32)) olduğu gibi ve model.P["pos"].data sıfırlara ayarlanmışken (sonra geri koy).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.