값 하나를 다시 넣기: 활성화 패칭
왜 중요한가 활성화 패칭(Meng et al. 2022, Wang et al. 2022)은 값 하나를 한 실행에서 다른 실행으로 옮겨서 "이 부분이 답과 나란하다"를 "이 부분이 답을 나른다"로 바꿔요.
문자 하나가 다른 입력 둘:
- 깨끗함: "the gradient of the los": GPT는 다음 문자 "s"에 확률 0.91을 줘요.
- 오염됨: "the gradient of the bos": 0.39.
오염된 입력을 실행하되, 한 곳의 한 위치에서 깨끗한 실행의 벡터로 바꿔 넣으세요. "s"의 확률이 0.91로 다시 뛰면, 그 벡터가 "l"이 모델에게 말한 것을 나르고 있었던 거예요. interp.patch(model, clean_ids, bad_ids, site, pos)가 바꿔 넣기를 하고 로짓을 반환하고, interp.next_prob(logits, answer, model)이 확률을 읽어요.
마지막 다섯 위치에 대해 'resid0'(블록 0 전이라 임베딩뿐), 'resid1'(블록 사이), 'final'에서 해 보세요.
먼저 예측하세요: 'resid1'에서 "l"은 여전히 자기 위치에 실려 있을까요, 아니면 다른 곳일까요?
이 레슨의 단어와 기호
- 활성화 패칭
- 한 입력을 다른 입력의 실행에서 가져온 값으로 돌려서, 그 값이 무엇을 나르는지 보기
my_guess를 "own position"이나 "somewhere else"로 설정하세요. restored[site]를 확률 다섯의 리스트로 채우세요, len(clean) - 5부터 끝까지 위치마다 하나씩. 그다음 where[site]를 그걸 되살리는 위치의 clean 문자로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.