강의 계획 레슨 246개 중 142번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

왜 d의 제곱근으로 나누나

왜 중요한가 모든 트랜스포머는 어텐션 점수를 key 크기의 제곱근으로 나눠요. 빼면 어텐션이 섞기를 멈추고 기울기가 거의 사라져요. 왜인지 재 볼 거예요.

길이 d인 무작위 벡터 둘의 내적은 곱 d개를 더해요. 각각 퍼짐이 약 1이니, 합의 퍼짐은 약 d의 제곱근이에요. 이유: 독립된 무작위 숫자를 더하면 퍼짐이 아니라 그 제곱이 더해져요(제곱을 분산이라고 해요). 분산이 각각 1인 곱 d개는 분산 d를 주니, 퍼짐은 d의 제곱근이에요. d = 64면 8이에요.

플러스 마이너스 8 이상으로 퍼진 점수는 softmax를 거의 원-핫으로 만들어요: 가중치 하나는 1 근처, 나머지는 0 근처. 원-핫 softmax는 기울기가 아주 작아요: 각 출력의 자기 점수에 대한 기울기는 p(1 - p)인데, p가 0이나 1 근처면 0 근처예요(모듈 2의 softmax 기울기 레슨이 그걸 유도하고, 이 모듈의 어텐션 역방향 레슨이 그걸 써요). 그래서 모델이 천천히 배워요. d의 제곱근으로 나누면 d가 무엇이든 퍼짐이 약 1로 돌아와요.

예측하세요: d가 4에서 256으로 커지면, 나눗셈이 있을 때와 없을 때 가장 큰 가중치는 어떻게 될까요?

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
어텐션
query-key 점수의 softmax로 value를 평균 내기
내 차례

my_guess를 채우세요. 그다음 top_weight(d, scaled)를 쓰세요: 각각 무작위 key 32개에 대한 무작위 query 2,000개(정규 숫자, 시드 0)의 가장 큰 softmax 가중치의 평균. measured를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.