인과 마스크: 엿보기 금지
왜 중요한가 다음 문자를 예측하도록 훈련한 모델은 다음 문자를 보면 안 돼요. 마스크가 없으면 그냥 답을 베껴서 훈련에서는 좋아 보이고, 생성할 때는 실패해요, 생성 때는 미래가 아직 존재하지 않으니까요.
보기
애니메이션을 재생하세요. 위치 i는 위치 0부터 i까지만 어텐션할 수 있어요. softmax 전에 대각선 위의 모든 점수를 마이너스 무한대로 설정해서, 그 가중치가 정확히 0이 돼요. 그러면 가중치가 아래 삼각형을 이뤄요.
누출 시험은 직접적이에요: 위치 j의 문자를 바꾸면, 모델이 j 앞의 위치들에 대해 계산하는 어떤 것도 바뀌면 안 돼요.
강좌가 폭 32인 GPT를 마스크 없이 1,200걸음 훈련했더니, 훈련 손실이 0.10까지 떨어졌어요, 마스크가 있으면 1.51인데요: 다음 위치에서 답을 거의 완벽하게 베끼는 걸 배운 거예요. 본 적 없는 텍스트에서 앞을 보지 못하게 하고 정직하게 재면, 그 손실은 8.6이었고 마스크가 있는 쪽은 2.3이었어요. 낮은 숫자는 거짓말이었어요: 모델은 훨씬 나빴어요. (초기 400걸음에서는 두 실행이 여전히 비슷해 보였어요, 2.28 대 2.24. 베끼기는 발견하는 데 시간이 걸리고, 그다음 장악해요.)
이 레슨의 단어와 기호
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 인과 마스크
- 대각선 위의 점수를 마이너스 무한대로: 어떤 위치도 미래를 보지 않아요
- 헤드
- 나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
레슨 4처럼 하되 마스크를 씌운 causal_attention(X, Wq, Wk, Wv)를 쓰세요. 그다음 leaks(f): 무작위 X의 마지막 행을 바꿨을 때 f 출력의 앞쪽 행이 하나라도 바뀌면 True를 반환하세요. 여기서 f는 자기 것처럼 f(X, Wq, Wk, Wv)로 호출되고 (output, weights)를 반환하는 어떤 어텐션 함수든 돼요. 무작위 X와 가중치는 leaks 안에서 만드세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.