모듈 13: 어텐션과 트랜스포머
헤드가 보는 것
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 어텐션 가중치는 읽을 수 있어요. 훈련된 헤드가 하는 일을 보는 것이 해석 가능성의 시작이에요: 출력만이 아니라 내부로 모델을 이해하기.
기록된 폭 64 모델은 헤드 4개짜리 층이 2개예요. 각 헤드에 대해, 위치가 바로 앞 문자에 평균적으로 얼마나 어텐션을 주는지 재세요. 헤드가 볼 수 있는 모든 것에 어텐션을 고르게 퍼뜨린다면, 32문자 조각에서 그 숫자는 약 0.10일 거예요.
예측하세요: 어느 층의 헤드가 "이전 문자 보기"에 특화될까요?
이 레슨의 단어와 기호
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 헤드
- 나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
내 차례
my_guess를 0이나 1로 설정하세요. t × t 어텐션 행렬 하나에 대해 prev_share(A)를 쓰세요: i가 1부터 t - 1까지일 때 A[i, i - 1]의 평균. attention_maps를 써서 share를 채우세요: (layer, head)에서 따로 떼어 둔 조각 40개에 걸친 prev_share의 평균으로.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.