Müfredat 246 dersinden 146. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Dikkat boyunca geri geçiş

Neden önemli Her kütüphane bunu senin için hesaplar, ama yalnızca zaten bildiğin dört adımdır. Onu bir kez türetmek, dikkati çağırdığın bir kutu değil, anladığın bir katman yapar.

İleri, tek bir X dizisi için (t konum çarpı d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = satır satır softmax(S), out = A V. Geri geçiş, G = dL/d(out) verildiğinde aynı adımlardan tersine geçer:

  1. out = A V bir matris çarpımıdır (Modül 2'nin şekil kuralı): dA = G VT ve dV = AT G.
  2. A = softmax(S), satır satır (Modül 2'nin softmax gradyanı): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) ve dK = dST Q / sqrt(d).
  4. Q = X Wq (ve K ile V için aynısı): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

Burada d sorguların ve anahtarların genişliğidir (Wq'nun sütun sayısı). Hiçbir yerde yeni bir kural görünmez: dikkatin geri geçişi iki matris çarpımı ve bir softmax'ın geriye çalıştırılmasıdır.

Özet Adımları ters sırayla, her birini zaten sahip olduğun kuralla geri al.

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
Senin sıran

Maskesiz out = softmax(Q KT / sqrt(d)) V için (dWq, dWk, dWv) döndüren attention_backward(X, Wq, Wk, Wv, G) yaz. Gizli test her elemanı itmeye karşı kontrol eder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.