강의 계획 레슨 246개 중 155번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

헤드가 보는 것

왜 중요한가 어텐션 가중치는 읽을 수 있어요. 훈련된 헤드가 하는 일을 보는 것이 해석 가능성의 시작이에요: 출력만이 아니라 내부로 모델을 이해하기.

기록된 폭 64 모델은 헤드 4개짜리 층이 2개예요. 각 헤드에 대해, 위치가 바로 앞 문자에 평균적으로 얼마나 어텐션을 주는지 재세요. 헤드가 볼 수 있는 모든 것에 어텐션을 고르게 퍼뜨린다면, 32문자 조각에서 그 숫자는 약 0.10일 거예요.

예측하세요: 어느 층의 헤드가 "이전 문자 보기"에 특화될까요?

이 레슨의 단어와 기호
어텐션
query-key 점수의 softmax로 value를 평균 내기
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
내 차례

my_guess를 0이나 1로 설정하세요. t × t 어텐션 행렬 하나에 대해 prev_share(A)를 쓰세요: i가 1부터 t - 1까지일 때 A[i, i - 1]의 평균. attention_maps를 써서 share를 채우세요: (layer, head)에서 따로 떼어 둔 조각 40개에 걸친 prev_share의 평균으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.