강의 계획 레슨 246개 중 144번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

셀프 어텐션: 모든 위치가 다른 모든 위치에 물어요

왜 중요한가 트랜스포머에는 되돌아볼 별도의 인코더가 없어요. 텍스트의 모든 위치가 다른 위치들에 어텐션해서, 각 문자의 벡터가 문장의 나머지 정보로 업데이트돼요.

위치마다 행 하나인 X(t행, d열)에서 시작하세요. 학습된 행렬 셋이 모든 위치의 query, key, value를 한꺼번에 만들어요:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

이건 레슨 1의 부드러운 찾아보기를 행렬 곱셈 둘로 query t개 모두에 대해 한꺼번에 한 거예요. 그래서 빠른 수학 루틴에서 아주 잘 돌아요.

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
어텐션
query-key 점수의 softmax로 value를 평균 내기
셀프 어텐션
모든 위치가 같은 텍스트의 위치들에 어텐션해요
내 차례

(out, A)를 반환하는 self_attention(X, Wq, Wk, Wv)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.