Dalgalar olarak konumlar
Neden önemli Öğrenilmiş konum vektörleri eğitimde görülen en uzun metinde durur. Orijinal transformer bunun yerine her konuma benzersiz bir kalıp veren ve "3 adım ötede"yi nerede olursa olsun aynı gösteren sabit dalgalar kullandı.
p konumu ve i çift indeksi (0, 1, 2, ...) için, toplam d sayıyla:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
İlk çift hızlı bir dalgadır, sonraki çiftler gittikçe yavaşlar, bir saatin akrep ve yelkovanı gibi: saniyeler, dakikalar, saatler. Birlikte her konuma ayrı bir okuma verirler.
Yararlı özellik: PE[p] . PE[p + k] iç çarpımı p'ye değil, yalnızca uzaklık k'ye bağlıdır. (Her çift, sin a sin b + cos a cos b = cos(a - b) özdeşliğiyle açı farkının cos'unu katkı olarak verir.)
Alan şu an nerede Bugün açık dil modellerinin çoğu ne girdiye eklenen dalgaları ne de öğrenilmiş konum vektörlerini kullanır. RoPE (döner konum gömmesi, Su vd. 2021), her sorgu ve anahtar vektörünü, sorgu ve anahtar izdüşümlerinden sonra, konumuyla büyüyen bir açıyla döndürür, böylece iki konum arasındaki puan yalnızca birbirlerinden ne kadar uzak olduklarına bağlı olur. ALiBi (Press vd. 2021) hiç konum vektörü eklemez: her dikkat puanından uzaklıkla büyüyen bir ceza çıkarır. İkisi de eğitimdekilerden daha uzun metinlere daha iyi taşınır. Buradaki dalgalar orijinal transformer'ın seçimi ve görmesi en kolay olanı.
Bu dersteki kelimeler ve semboller
- sorgu, anahtar, değer
- bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- konum vektörü
- dikkat sırayı ayırt edebilsin diye her token'a eklenir
n'ye d bir dizi döndüren positions(n, d) yaz. Sonra same_distance'ı p = 0'dan 50'ye PE[p] . PE[p + 5] arasındaki en büyük farka ayarla (esasen 0 olmalı).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.