강의 계획 레슨 246개 중 141번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

어텐션은 부드러운 찾아보기예요

왜 중요한가 어텐션이 트랜스포머의 유일한 새 생각이에요. 나머지는 모두 이미 알아요. 항목 하나를 고르는 대신 모두를 섞는 딕셔너리 찾아보기예요.

보기

애니메이션을 재생하세요. Python 딕셔너리는 키를 정확히 맞추고 값 하나를 반환해요. 어텐션에는 query q, key의 리스트, value의 리스트가 있어요. 내적으로 query를 모든 key와 대조해 점수를 매기고, softmax로 점수를 가중치로 바꾸고(양수, 합 1), value의 가중 평균을 반환해요.

weights = softmax(K @ q)
output  = weights @ V

작은 숫자

q = [1, 0]. key [2, 0], [0, 2], [0, 0]은 점수 2, 0, 0을 줘요. Softmax: e^2 = 7.39와 1과 1이니, 가중치는 0.79, 0.11, 0.11. value가 10, 20, 30이면 출력은 0.79 곱하기 10 + 0.11 곱하기 20 + 0.11 곱하기 30 = 13.2: 대부분 첫 value에, 나머지가 조금.

Query, key, value: 내가 찾는 것, 각 항목이 맞춰지려고 내놓는 것, 각 항목이 맞으면 건네주는 것.

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
어텐션
query-key 점수의 softmax로 value를 평균 내기
내 차례

query 하나에 대해 attend(q, K, V)를 쓰세요: (weights, output)을 반환하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.