모듈 13: 어텐션과 트랜스포머
헤드는 많이, 비용은 같게
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 층마다 어텐션 패턴 하나는 제약이 커요: 위치 하나가 이전 문자와, 동시에 단어의 시작을 보고 싶을 수 있어요. 멀티 헤드 어텐션은 더 작은 어텐션 여럿을 나란히 돌려요.
보기
애니메이션을 재생하세요. Q, K, V의 d열을 d / H짜리 H개 무리로 나누세요. 각 무리(헤드)는 자기 패턴으로 자기 어텐션을 해요. H개 출력을 다시 나란히 d열로 붙이고, 그다음 행렬 Wo 하나로 섞으세요.
비용: 큰 헤드 하나와 같은 행렬을 조각으로 자른 것뿐이라, 매개변수 수가 바뀌지 않아요. 각 헤드가 더 좁으니, d / H의 제곱근으로 나눠요.
이 레슨의 단어와 기호
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 헤드
- 나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
내 차례
출력과 H개 어텐션 행렬의 리스트를 반환하는 multi_head(X, Wq, Wk, Wv, Wo, H)(마스크 없음)를 쓰세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.