강의 계획 레슨 246개 중 147번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

헤드는 많이, 비용은 같게

왜 중요한가 층마다 어텐션 패턴 하나는 제약이 커요: 위치 하나가 이전 문자와, 동시에 단어의 시작을 보고 싶을 수 있어요. 멀티 헤드 어텐션은 더 작은 어텐션 여럿을 나란히 돌려요.

보기

애니메이션을 재생하세요. Q, K, V의 d열을 d / H짜리 H개 무리로 나누세요. 각 무리(헤드)는 자기 패턴으로 자기 어텐션을 해요. H개 출력을 다시 나란히 d열로 붙이고, 그다음 행렬 Wo 하나로 섞으세요.

비용: 큰 헤드 하나와 같은 행렬을 조각으로 자른 것뿐이라, 매개변수 수가 바뀌지 않아요. 각 헤드가 더 좁으니, d / H의 제곱근으로 나눠요.

이 레슨의 단어와 기호
어텐션
query-key 점수의 softmax로 value를 평균 내기
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
내 차례

출력과 H개 어텐션 행렬의 리스트를 반환하는 multi_head(X, Wq, Wk, Wv, Wo, H)(마스크 없음)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.