모듈 13: 어텐션과 트랜스포머
셀프 어텐션: 모든 위치가 다른 모든 위치에 물어요
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 트랜스포머에는 되돌아볼 별도의 인코더가 없어요. 텍스트의 모든 위치가 다른 위치들에 어텐션해서, 각 문자의 벡터가 문장의 나머지 정보로 업데이트돼요.
위치마다 행 하나인 X(t행, d열)에서 시작하세요. 학습된 행렬 셋이 모든 위치의 query, key, value를 한꺼번에 만들어요:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
이건 레슨 1의 부드러운 찾아보기를 행렬 곱셈 둘로 query t개 모두에 대해 한꺼번에 한 거예요. 그래서 빠른 수학 루틴에서 아주 잘 돌아요.
이 레슨의 단어와 기호
- query, key, value
- 위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 셀프 어텐션
- 모든 위치가 같은 텍스트의 위치들에 어텐션해요
내 차례
(out, A)를 반환하는 self_attention(X, Wq, Wk, Wv)를 쓰세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.