파동으로서의 위치
왜 중요한가 학습된 위치 벡터는 훈련에서 본 가장 긴 텍스트에서 멈춰요. 원래 트랜스포머는 대신 고정된 파동을 썼는데, 모든 위치에 고유한 패턴을 주고 "3걸음 떨어짐"이 어디서 일어나든 같아 보이게 해요.
위치 p와 쌍 인덱스 i(0, 1, 2, ...)에 대해, 전체 숫자가 d개일 때:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
첫 쌍은 빠른 파동이고, 뒤의 쌍은 점점 더 느려요, 시계 바늘처럼: 초, 분, 시. 함께 각 위치에 뚜렷한 눈금을 줘요.
쓸모 있는 성질: 내적 PE[p] . PE[p + k]는 p가 아니라 거리 k에만 달려 있어요. (항등식 sin a sin b + cos a cos b = cos(a - b)로, 각 쌍이 각도 차이의 cos를 보태요.)
이 분야의 지금 오늘날 대부분의 공개 언어 모델은 입력에 더하는 파동도 학습된 위치 벡터도 쓰지 않아요. RoPE(회전 위치 임베딩, Su et al. 2021)는 query와 key 투영 뒤에 각 query와 key 벡터를 위치에 따라 커지는 각도만큼 회전시켜서, 두 위치 사이의 점수가 얼마나 떨어져 있는지에만 달리게 해요. ALiBi(Press et al. 2021)는 위치 벡터를 전혀 더하지 않아요: 각 어텐션 점수에서 거리에 따라 커지는 벌점을 빼요. 둘 다 훈련 때보다 긴 텍스트로 더 잘 이어져요. 여기의 파동은 원래 트랜스포머의 선택이고 가장 보기 쉬워요.
이 레슨의 단어와 기호
- query, key, value
- 위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 위치 벡터
- 어텐션이 순서를 알 수 있도록 각 토큰에 더하는 것
n × d 배열을 반환하는 positions(n, d)를 쓰세요. 그다음 same_distance를 p = 0부터 50까지에 걸친 PE[p] . PE[p + 5] 사이의 가장 큰 차이로 설정하세요(본질적으로 0이어야 해요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.