어텐션에는 순서 감각이 없어요
왜 중요한가 "Dog bites man"과 "man bites dog"은 같은 단어를 써요. 셀프 어텐션은 그것만으로는 둘을 구별할 수 없어요. 왜인지 보면 모든 트랜스포머가 더하는 추가 재료가 설명돼요.
X의 행을 섞으면 셀프 어텐션의 출력 행도 똑같이 섞이고, 그 밖엔 아무것도 바뀌지 않아요. 각 위치의 결과는 벡터들이 어디 있는지가 아니라 어떤 벡터가 있는지에 달려 있어요. (인과 마스크가 있으면 이게 딱 맞지는 않아요: 위치 i는 정확히 i + 1개의 토큰을 보니, 모델이 그걸 세는 법을 배울 수 있고, 위치 벡터 없는 인과 모델은 실제로 그렇게 순서를 배워요. 하지만 느리고 믿을 수 없어요. 명시적인 위치 벡터가 순서를 쉽게 만들어요.)
그래서 트랜스포머는 첫 층 전에 각 토큰의 임베딩에 위치 벡터를 더해요. 기록된 GPT는 위치마다 벡터 하나, 32개를 배웠어요. 그걸 지우면 예측에 무슨 일이 일어날까요?
이 레슨의 단어와 기호
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 셀프 어텐션
- 모든 위치가 같은 텍스트의 위치들에 어텐션해요
- 인과 마스크
- 대각선 위의 점수를 마이너스 무한대로: 어떤 위치도 미래를 보지 않아요
- 위치 벡터
- 어텐션이 순서를 알 수 있도록 각 토큰에 더하는 것
shuffle_check(f)를 쓰세요: 무작위 X의 행을 순열로 섞으면 f의 출력 행도 같은 식으로 섞이면 True. 여기서 f(X, Wq, Wk, Wv)는 아래의 attn처럼 출력만 반환해요. 무작위 X와 가중치는 shuffle_check 안에서 만드세요. 그다음 with_pos와 without_pos를 채우세요: 기록된 모델의 따로 떼어 둔 손실(model.eval_loss(held, n=32)), 그대로일 때와 model.P["pos"].data를 0으로 설정했을 때(나중에 되돌려 놓으세요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.