강의 계획 레슨 250개 중 107번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

처음부터 만드는 셀프 어텐션

뉴런과 순전파를 만들었어요. 이제 평범한 신경망을 트랜스포머로, 거기서 모든 채팅 어시스턴트 뒤의 LLM으로 바꾼 단 하나의 생각을 만들 거예요: 셀프 어텐션. 행렬 곱셈 몇 개이고, 전체를 numpy로 할 수 있어요.

직관

문장 속 각 단어가 다른 단어들에서 정보를 모으고 싶어 한다고 상상해 보세요. 셀프 어텐션은 모든 위치에 벡터 세 개를 줘요:

  • 쿼리(Q): 이 위치가 찾는 것.
  • 키(K): 각 위치가 내놓는 것, 맞추기에 써요.
  • 값(V): 각 위치가 실은 실제 정보.

위치는 자기 쿼리를 모든 키와 비교해서 다른 위치 각각에 얼마나 귀 기울일지 정하고, 그다음 그 양으로 값의 가중 혼합을 만들어요. 강한 일치 -> 큰 가중치 -> 그 값이 더 많이 보태요. 그게 메커니즘 전부예요: 쿼리가 키에 주의를 기울이고, 답은 값의 가중 혼합이에요.

수학: 스케일드 닷 프로덕트 어텐션

쿼리와 키 사이의 맞춤 점수는 둘의 내적이에요(같은 쪽을 가리킬수록 커요). 모든 쿼리를 행렬 Q로, 모든 키를 K로 쌓으면 모든 점수가 한 번에 Q @ K.T예요. 벡터가 길어져도 점수가 폭발하지 않도록 sqrt(d_k)(키 차원)로 나눠요:

scores = Q @ K.T / np.sqrt(d_k)

애초에 왜 나눌까요? 내적은 차원과 함께 커져요. d_k가 64이고 항목이 1 언저리면 날것의 점수는 64 근처에 떨어지고, 그렇게 큰 숫자는 softmax를 키 하나로 몰고 기울기를 평평하게 해요. sqrt(d_k), 여기서는 sqrt(64) = 8로 나누면 점수가 상식적인 범위로 돌아와 어텐션이 매끄럽고 훈련할 수 있게 남아요. 아래에서 돌릴 작은 d_k = 1 예시에서는 나누는 수가 그냥 1이라 효과가 안 보이지만, 진짜 모델 크기에서는 꼭 필요해요.

scores의 각 행은 쿼리 하나의 모든 키에 대한 점수를 담아요. 마지막 축에 대한 softmax로 각 행을 양수이고 합이 1인 가중치로 바꿔요:

weights = softmax(scores, axis=-1)   # each row sums to 1

softmax는 지수를 취하고 정규화해요. 순진하게 하면 큰 점수의 np.exp가 inf로 넘쳐서 가중치가 nan으로 나와요. 해결책은 표준 수치적으로 안정적인 요령이에요: 지수를 취하기 전에 각 행의 최댓값을 빼요. 수학적으로 결과를 바꾸지 않지만(같은 상수가 위아래에서 지워져요), 모든 지수를 <= 0으로 지켜요:

def softmax(x):
    x = x - x.max(axis=-1, keepdims=True)   # stability: largest exponent is now 0
    e = np.exp(x)
    return e / e.sum(axis=-1, keepdims=True)

마지막으로 각 쿼리의 출력은 값에 적용한 그 가중치이고, 행렬 곱셈 하나 더예요:

output = weights @ V

합치면 유명한 공식은 그냥 softmax(Q @ K.T / sqrt(d_k)) @ V예요. Q가 (n, d_k), K가 (m, d_k), V가 (m, d_v)이면, weights는 (n, m)이고 output은 (n, d_v)예요: 쿼리마다 출력 벡터 하나, 각각 값 행들의 혼합이에요.

이게 트랜스포머 요령 전체예요

진짜 트랜스포머는 어텐션 계산 하나에서 멈추지 않아요. 멀티 헤드 어텐션은 이것 여러 개를 나란히 돌리고(헤드마다 자기 Q, K, V 투영을 배우니, 서로 다른 헤드가 서로 다른 것에 주의를 기울여요) 결과를 이어 붙여요. 그다음 트랜스포머 블록은 어텐션에 작은 피드포워드 네트워크와 잔차 연결을 쌓고, 모델은 그런 블록을 수십 개 쌓아요. 하지만 그 모두의 뛰는 심장은 정확히 여러분이 쓰려는 함수예요: 점수, 안정적인 softmax, 값의 가중 합. 이걸 만들면 LLM이 프롬프트에 "주의를 기울일" 때 되풀이하는 핵심 연산을 이해하게 돼요.

솔직한 단서 하나: 여기서 Q, K, V는 고정된 배열로 주어져요. 진짜 모델에서는 주어지는 게 아니라, 각 토큰의 임베딩에 학습된 가중치 행렬 세 개 W_q, W_k, W_v를 곱해 만들어져요. 그 행렬들, 그리고 모든 블록의 행렬들이 바로 지난 레슨의 경사 하강으로 훈련이 조정하는 거예요. 그러니 여기서 만드는 건 모든 트랜스포머에서 똑같은 어텐션의 고정된 핵심이고, 학습은 그것을 먹이는 투영에 살아요.

Run을 눌러 어텐션이 작은 Q/K/V를 출력으로 바꾸는 걸 보고, 가중치 행렬을 출력해 누가 누구에게 주의를 기울였는지 읽어 보세요.

내 차례

numpy로 스케일드 닷 프로덕트 어텐션을 구현하세요. 튜플 (output, weights)를 돌려주는 attention(Q, K, V)를 쓰세요. d_k가 Q의 마지막 차원일 때 scores = Q @ K.T / np.sqrt(d_k)를 계산하고, 마지막 축에 대해 수치적으로 안정적인 softmax를 적용해(np.exp 전에 각 행의 최댓값을 빼요) 행의 합이 1인 weights를 얻고, 그다음 output = weights @ V. output을 먼저, 그다음 weights 행렬을 돌려주세요. 그다음 주어진 배열에 대해 out, w = attention(Q, K, V)로 정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.