Mundur melalui attention
Kenapa ini penting Setiap library menghitung ini untukmu, tapi ini hanya empat langkah yang sudah kamu tahu. Menurunkan rumusnya sekali adalah apa yang membuat attention menjadi layer yang kamu pahami, bukan sekadar kotak yang kamu panggil.
Maju, untuk satu urutan X (t posisi kali d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) baris demi baris, out = A V. Mundur melewati langkah yang sama secara terbalik, jika G = dL/d(out):
- out = A V adalah perkalian matriks (aturan bentuk Modul 2): dA = G VT dan dV = AT G.
- A = softmax(S), baris demi baris (gradien softmax Modul 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) dan dK = dST Q / sqrt(d).
- Q = X Wq (dan hal yang sama untuk K dan V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Di sini d adalah lebar dari queries dan keys (jumlah kolom Wq). Tidak ada aturan baru di mana pun: backward pass attention adalah dua perkalian matriks dan sebuah softmax, jalankan backward.
Ringkasan Batalkan langkahnya secara terbalik, masing-masing dengan aturan yang sudah kamu punya.
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Tulis attention_backward(X, Wq, Wk, Wv, G) yang mengembalikan (dWq, dWk, dWv) untuk out = softmax(Q KT / sqrt(d)) V tanpa mask. Tes tersembunyi memeriksa setiap entri terhadap nudging.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.