유도 헤드 찾기
왜 중요한가 유도 헤드(Olsson et al. 2022)는 해석 가능성에서 가장 잘 알려진 이야기예요: 헤드 하나가 현재 토큰의 앞선 사본을 찾아 그 뒤의 토큰에 어텐션해서, 모델이 반복을 이어 가게 해요. 큰 모델에서는 진짜예요. 실수는 작은 모델이 베낀다는 이유로 같은 방식으로 베낀다고 가정하는 거예요.
강좌는 베끼기만 하도록 2블록 GPT를 훈련했어요: 각 행은 4~16글자의 무작위 연속을 32개 위치를 채우도록 되풀이한 거예요. 첫 연속은 예측할 수 없지만(손실 약 ln 26 = 3.26), 그 뒤로는 모든 글자를 베낄 수 있어요. 모델은 베끼는 걸 배웠어요: 반복에서의 손실이 약 0.13~0.15예요(표본에 따라 달라요).
교과서 예측: 어떤 헤드가 어텐션의 대부분을 현재 글자의 앞선 사본 뒤의 글자에 둔다. 재세요. 각 헤드에 대해, 반복 위치에 걸쳐 평균 낸 어텐션 중 j 앞의 글자가 현재 글자와 같은 위치 j에 떨어지는 비율. 앞의 모든 위치에 고르게 퍼지는 균등 어텐션과 비교하세요. 그다음 각 헤드를 없애고 반복 손실을 재세요.
먼저 예측하세요: 한 헤드가 어텐션의 절반 넘게를 거기에 둘까요?
이 분야의 지금 유도 헤드는 진짜예요: Olsson et al.(2022)은 어텐션만 있는 2층 모델을 포함해 평범한 텍스트로 훈련한 모델에서 갑작스러운 상전이로 그게 형성되는 걸 발견했어요. 왜 여기서는 아닐까요? 이 모델에는 MLP와 층 정규화가 있고, 가능한 해법이 여럿인 합성 베끼기 과제 하나로 짧게 훈련돼서, 다른 해법을 찾았어요. 그게 이 레슨의 요점이고, 그 한계이기도 해요: 발표된 효과를 보여 주지 않는 장난감은 그것에 반하는 증거가 아니에요. 이 강좌의 작은 모델에서 나온 결과는 그 모델들에 대한 측정이에요. 큰 규모에서는 어떤 건 성립하고 어떤 건 성립하지 않을 거예요.
이 레슨의 단어와 기호
- 해석 가능성
- 훈련된 신경망이 안에서 무엇을 계산하는지 알아내고 확인하기
- 패턴, 효과, 메커니즘
- 증거의 세 종류: 보고 봤다, 바꿨더니 출력이 바뀌었다, 설명했더니 그 설명이 새 경우를 예측했다
- 유도 헤드
- 현재 토큰의 앞선 사본을 찾아 그 뒤의 토큰에 어텐션하는 헤드
my_guess를 "yes"나 "no"로 설정하세요. induction_share(A, X, Ls)를 쓰세요: 헤드 하나의 어텐션 가중치 A (B, t, t)에 대해, 행 b와 반복 위치 i(Ls[b]부터 t - 1까지)에 걸쳐, X[b, j - 1] == X[b, i](j ≥ 1)인 위치 j ≤ i에 대한 어텐션의 평균. 헤드 8개에 대해 share[(layer, head)]를, 그 헤드를 0으로 설정했을 때의 반복 손실로 removed[(layer, head)]를 채우세요. needed를 없앴을 때 가장 해치는 헤드로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.