강의 계획 레슨 246개 중 146번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

어텐션을 거슬러 가는 역방향

왜 중요한가 모든 라이브러리가 대신 계산해 주지만, 이미 아는 네 단계일 뿐이에요. 한 번 유도하면 어텐션이 호출하는 상자가 아니라 이해하는 층이 돼요.

순방향, 시퀀스 하나 X(위치 t개 × d)에 대해: Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), 행마다 A = softmax(S), out = A V. 역방향은 G = dL/d(out)이 주어지면 같은 단계를 거꾸로 거쳐요:

  1. out = A V는 행렬 곱셈이에요(모듈 2의 모양 규칙): dA = G VT, dV = AT G.
  2. A = softmax(S), 행마다(모듈 2의 softmax 기울기): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d), dK = dST Q / sqrt(d).
  4. Q = X Wq(K와 V도 마찬가지): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

여기서 d는 query와 key의 폭(Wq의 열 수)이에요. 어디에도 새 규칙은 나오지 않아요: 어텐션의 역방향 단계는 행렬 곱셈 둘과 softmax를 거꾸로 돌린 거예요.

요약 단계들을 역순으로, 각각 이미 가진 규칙으로 되돌리세요.

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
어텐션
query-key 점수의 softmax로 value를 평균 내기
내 차례

마스크 없는 out = softmax(Q KT / sqrt(d)) V에 대해 (dWq, dWk, dWv)를 반환하는 attention_backward(X, Wq, Wk, Wv, G)를 쓰세요. 숨겨진 테스트는 모든 항목을 살짝 밀기와 대조해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.