어텐션을 거슬러 가는 역방향
왜 중요한가 모든 라이브러리가 대신 계산해 주지만, 이미 아는 네 단계일 뿐이에요. 한 번 유도하면 어텐션이 호출하는 상자가 아니라 이해하는 층이 돼요.
순방향, 시퀀스 하나 X(위치 t개 × d)에 대해: Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), 행마다 A = softmax(S), out = A V. 역방향은 G = dL/d(out)이 주어지면 같은 단계를 거꾸로 거쳐요:
- out = A V는 행렬 곱셈이에요(모듈 2의 모양 규칙): dA = G VT, dV = AT G.
- A = softmax(S), 행마다(모듈 2의 softmax 기울기): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d), dK = dST Q / sqrt(d).
- Q = X Wq(K와 V도 마찬가지): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
여기서 d는 query와 key의 폭(Wq의 열 수)이에요. 어디에도 새 규칙은 나오지 않아요: 어텐션의 역방향 단계는 행렬 곱셈 둘과 softmax를 거꾸로 돌린 거예요.
요약 단계들을 역순으로, 각각 이미 가진 규칙으로 되돌리세요.
이 레슨의 단어와 기호
- query, key, value
- 위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
마스크 없는 out = softmax(Q KT / sqrt(d)) V에 대해 (dWq, dWk, dWv)를 반환하는 attention_backward(X, Wq, Wk, Wv, G)를 쓰세요. 숨겨진 테스트는 모든 항목을 살짝 밀기와 대조해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.